大数据工程师和算法工程师的区别是啥

一个数据项目,从职责分工上,一般需要三类人员,一是对行业业务现状能精确解读的人,也就是行业专家,一类是数学模型科学家,一类是IT工程师。具体分工是,行业专家通过自身的经验,对行业中存在的问题,给出业务层面的解读,比如房价是和人口相关、还是和平均收入相关。数学家将这些现实的维度,转化为数学模型,然后由IT工程师,使用专门的工具来实现(当然这还需要对数据进行一系列处理)。现实中,一个优秀的模型师,基本上也是一个优秀的工具使用者,我们公司的数据分析师,SAS/SPSS/R/PYTHON用得都很熟。所以大数据工程师偏IT,偏工具的使用,计算机专业毕业即可。而算法工程师的核心是数学和统计学,必须是这样的专业毕业的才可以。

■网友
大数据挖掘工程师需要了解整套数据流入的过程,包括数据的接入、预处理,然后需要知道怎么用数据解决实际的业务问题,说白就是想办法让数据产生价值。
【大数据工程师和算法工程师的区别是啥】 他需要知道一整个数据到业务输出的机制或者说是系统,可能涉及到复杂的算法转化,也可能只是简单的规则转化,或者多个模型的转化组合输出等等,他是一个比较全面而概括性定位。
而算法工程师则不一样,他们的职责我认为更纯粹,他们需要知道如何把现实问题转化为数学的模型,并且把模型调到极致,从而解决问题。所以,算法工程师工作内容更单一,但是更专,需要更好的数学功底。

■网友
最后一点怎么看起来是猎头在招人。。。现在的情况下,不同企业对这两个职位的职责定义不尽相同。实际操作中这两个岗位确实也有很大重叠,其实现在的job market能有一些算法和机器学习经验的人,这两个岗位都可以找到工作。
仅从字面定义上来讲,大数据工程师偏重工程,职责可能包括数据清洗、整合、wrangling、特征抽取,分布式计算、数据挖掘等都会涉及。算法工程师偏重算法,侧重考虑公司数据和业务特性的运筹和机器学习算法,比较少需要直接清洗数据和接触底层分布式任务的处理优化。大数据工程师更倾向有coding和数据挖掘经验的人,算法工程师更倾向有算法理论和数学基础的人。

■网友
大数据工程师强调对大数据工具的掌握,对工程效率负责,算法工程师强调对机器学习算法的掌握,对产品效果负责;大数据工程师一般本科即可,算法工程师更多要求硕士


    推荐阅读