江苏龙网

  1. 首页 > 生活 > >

国内的ETL工程师日常工作是啥样的( 二 )


最后是数据的存储。数据存储分为几级，有ODS层、数仓层、数据集市层，再往上是AI层、BI层。 关于数据存储也有很多学问，比如，在入库时需要考虑上游源系统与下游的目标系统可能是不同的（结构互异的存储）。
三. 也许，你离优秀的数据工程师还差这两种素养
在有关ETL或者数据工程师的问题中，有一部分是关于职业规划的。有的人还没有弄清楚这个工作具体是做什么的，意义在哪。有的人还在苦恼这个工作的发展前景。
在我特别喜欢的一本书《禅与摩托车的维修艺术》中，作者罗伯特·波西格写到：“想要知道怎样画一张完美的画吗？很简单，你先让自己变得完美，然后再随心去画。“ 对此我很认同。对于这个工作的具体内容，我在上面已经做了大致的介绍。下面，我想来谈谈“怎么在这个岗位做得更远”。

数据工程师绝不仅仅是数据的搬运工，更多需要肩负起在公司中运营数据(养数据)的职责。
这个行业里面有一句话叫“Garbage in, garbage out”，如果传递的数据是垃圾，那么产生的数据价值也是垃圾。
一位优秀的数据工程师要通过各种元数据管理，质量数据管理，让公司的数据变得越来越好，这是一个不断成长的过程。
我的建议是：未来越来越多的公司会将数据作为主要的战略方向，如果你能把自己紧密的与数据战略结合起来，那对你的个人成长会大有裨益。

另外题主还问了一个，说ETL工程师和DBA的区别。在小公司里面可能DBA和ETL工程师的界限不是特别明显，但如果是在大公司，两者会是分开的两个角色。作为DBA实际上需要保证数据库能正常运行，然后运维等。而ETL工程师和数据工程师，则是要保证数据系统的正常运行，这是两个方向，其实两者是不一样的。

■网友
我这边比较低端，每天银行的ods用kattle spoon把数据抽取出来，打包ftp传到我们的服务器上，我这边写shell脚本调sqlldr和存储过程，用crontab定时跑批。每天大概要处理45G的数据，花3个小时跑批，全程250+存储过程。
■网友
个人意见，不喜勿喷。
本人在国内的职位虽不是ETL工程师，但接触的工作内容和数据、数据库也与非常精密的联系。其实在应聘的时候，如果应聘的是ETL工程师，一般的招聘APP都会给出公司制定的工作内容、岗位职责等等。可以参考这些工作内容对国内的ETL工程师进行简单了解。
本人是学统计出身的，出学校后一直接触的工作内容就是与数据打交道。由于本人没有系统的学习过计算机编程，有一些需要编写代码的ETL工具就比较难上手了。近段时间，公司的Boss也意识到这个问题，又考虑到ETL其实是商业智能BI的一个重要的环节，因此就给我们布置任务，了解一下国内外的比较常用的BI产品，看看是否能代替公司现阶段使用的ETL工具。
现在市面上最主流的数据库就是Oracle、Sql server、PostgeSQL等，最常用的ETL工具就是Datastage，Congos，Kettle等。说到ETL，那么最主要的功能就是对数据的抽取、清洗、转换，以及最后作为一个数据仓库的功能。因此本人比对了市面上最主流、性价比较高的几款BI产品，试图找出能否用BI产品协助甚至替代ETL工具，帮助企业能更好的利用数据，协助企业制定决策。本人主要研究了国内的帆软、DataFocus，国外的tableau和PowerBI。应大家的需求，简单分析一下这四款产品的使用感受和优缺点。
最容易上手的还是国内的两款产品，因为他们的大部分学习资料都是中文的，还有较多的案例分享和视频资料，对于新手学习非常友好。
首先是帆软，帆软在国内已经是一款非常成熟的BI产品了，官网内部的社区非常活跃，网络上关于帆软的学习资料、实际案例也比较多。但是既然是一款比较成熟的产品，那么弊端也比较明显，首先功能基本定型了，虽然可以为企业进行一些特殊的功能定制，但是改动不会很大，有时候会无法满足本人公司的一些业务需求，这点还需改进；其次就是性价比不算高，帆软产品的价位有点超出我们公司的预算，性价比较高，不是非常划算。


推荐阅读


上一篇：谁在做微信小店比较好

下一篇：深度学习FCN图像分割中，怎样制作自己的数据集，重点是Label那部分，有啥工具或好办法