江苏龙网

  1. 首页 > 生活 > >

国内的ETL工程师日常工作是啥样的( 三 )


接下来说说DataFocus。DataFocus是近几年新出的一款BI产品，以“搜索式分析”在BI圈杀出重围，成为一匹新晋黑马。本人也在官方申请过试用，感觉这款产品的使用界面非常简洁，能够用最少的操作实现用户的需求，客服的答疑也非常认真到位；在功能上，和帆软没有很大的差距，基本都能实现我们公司的需求。最主要的是性价比很高，哈哈哈哈哈~~
【国内的ETL工程师日常工作是啥样的】 最后来说说tableau和PowerBI。因为都是国外的产品，就会有一个通病，就是学习资料太难找了。有时候就算找到了，可能也是英文版的。毋庸置疑，在四款产品中，tableau的可视化能力是最强的，图形最好看，但tableau也是最贵的，最难学的。如果要将tableau学以致用、融会贯通，可能需要投入大把的精力和金钱。PowerBI的桌面版本虽然是免费的，但它和其余三款比起来还是稍稍落伍了一些，在数据发生变动、分享等操作方面，远不及其余国内的两款BI产品。

■网友
国内的ETL或者大数据开发或者BI开发，基本是两种形式。
一种外派或外包，常见居多。
一种公司内部数据量庞大，基本是大公司。


■网友
首先大前提：ETL预计未来5年人才缺口有150万，就业前景是很不错的。因为现在无论是做报表作报告做数据大屏还是数据挖掘，通通要先过ETL这一关。把七七八八的原始数据通过处理可供后续的数据分析。
我已经从ETL到BI工程师发展啦，平时从数据处理到BI开发都是。原来只要是在企业中采用B/S模式进行开发、管理和运维监控工作，使用kettle转换文件和作业文件。现在大部分处理工作直接在BI中解决的，方便很多。其实就是化代码为简单的操作和公式。因为现在的BI工具都是大数据环境，所以不会像EXCEL一样操作大量级的数据时彻底卡住，也相对sql或kafka connect等其他工具要智能很多。
（1）修改数据类型
1. 一般BI工具在初次导入的时候就会有数据类型的选择设置。这个时候就可以修改类型啦。也可以通过简单的公式。
比如说时间格式，比较常见存储方式是非时间属性string格式20200713这种，为了数据分析时能在时间维度上自由聚合，一般转化为统一timestamp格式“2017/07/13”。通过一个简单的公式就可以一键解决。
国内的ETL工程师日常工作是啥样的

（2）列拆分
点击按钮，设置分为几列，以什么作为分隔符，每一列的列名是什么，就可以直接拆分列中值信息。
国内的ETL工程师日常工作是啥样的

（3）行列转换
行列转换也是直接点击点击设置好信息就可以，十分便捷！
国内的ETL工程师日常工作是啥样的

（4）筛选过滤
取排序特定位置的产品，排除空值，模糊查询筛选........我经常用的这款BI（DataFocus）很有意思，都是自然语言搜索出结果，很强大了！
国内的ETL工程师日常工作是啥样的

还有分组统计、连接字符、添加列索引、添加常量列等等.......
在BI工具中可以直接处理数据后将数据可视化，不动原始数据。相比数据分析需求变动需要重写sql再往下输送，BI自带的这些功能可以随时处理数据快速迎合需求变动而且无损原数据。
也可以数据加工完成后保存为一张新的数据源，后续再传输使用，保存为新的数据源也无损原数据，此时的数据处理会一劳永逸。后续原始数据源有任何变动更新，加工好的表和制作完成的报表、大屏通通都会更新。相比于EXCEL处理数据是一次性的，而且数据量大，响应速度极慢。


推荐阅读


上一篇：谁在做微信小店比较好

下一篇：深度学习FCN图像分割中，怎样制作自己的数据集，重点是Label那部分，有啥工具或好办法