大数据开发职业发展路径
12年“入坑”的半个老鸟。从你的经历来说，应该是从平台应用开发入行的，其实总的来说大数据领域有几大细分1 数据清洗、收集、爬虫 //偏脚本、爬虫能力2 数据分析 //偏业务，偏SQL，偏分析能力3 数据开发 //偏平台，偏工程化、后端开发能力4 数据挖掘 //偏算法，偏挖掘能力一般来说，数据分析的门槛最低，其次数据开发和爬虫类，门槛最高的是挖掘，当然薪酬也是相对较高的。具体的行情分布可以看一下之前我写过的一篇文章《大数据职位画像-看看你是不是白混了贼多年！》，公号中有，里头有各个维度的对比分析，数据是我爬的。再回到这个话题，从应用开发入手，你可以往两个方向房展：1 进一步熟悉架构，提升开发能力，往数据架构师转；2 从应用工程化往挖掘工程师转，需要自己多学算法相关的知识；
■网友
跟你的经历有点类似，不过我的方向很明确，就是一直往数据挖掘和机器学习的方向努力；
我在前一个公司，做了2~3年的数据仓库、大数据开发
掌握了很多种大数据技术：shell/python/hadoop/hive/spark/palo，建立了几个小型的数据仓库，对外提供各种分析报表；
然而我发现，建立数据仓库、提供数据报表，只是挖掘了数据中很小一部分的价值，很多人看了数据报表，只会说“恩，收入又涨了”、“恩，收入今天不高啊”，可是并没有对产品本身做出更多改进和影响，只是一个看看的东西；
而机器学习、数据挖掘，比如我现在努力的推荐算法领域，是产品的重要组成模块，它会利用学习到的所有大数据技术（大部分都需要做输入数据处理和特征构建），同时也要求自己会机器学习、数据挖掘等技术能力，这是一个会链接数据、算法、产品的方向；
我最终给你的建议，也是我现在努力的方向，是数据仓库、数据报表、数据分析、数据职能兼备学习，做这个领域的全才专家；
■网友
有很多朋友问过我，大数据到底是什么？一句话来概括
针对非软件行业的朋友
根据你平时在超市，加油站，饭店等地方的一些消费行为，通过大数据这个技术，我们可以知道你现在的年龄范围，是否婚配，是否有孩子，孩子大致是几岁，是否有固定住宅，车大致是什么价位的等信息。
针对软件行业的朋友
平时我们写的程序都是在一台机器上运行，处理能力有限，当然，数据量也是有限的。大数据这个技术，其实就是可以实现把我们的代码分布在很多台机器上去并行处理海量的数据，然后从这些海量数据中获取有价值，有意义的信息。
学习大数据需要的基本功
1. linux基础是必须的，最起码需要掌握linux命令行下的基本操作命令
2. javase基础【包含mysql】，注意是javase，不是javaee。javaweb那一块的知识针对大数据工程师而言不是必须的
大数据技术板块划分
数据采集
flume 、kafka、 logstash 、filebeat …
数据存储
mysql 、redis 、hbase 、hdfs …
虽然mysql不属于大数据范畴 但是我在这也列出来了，因为你在工作中离不开它
数据查询
hive impala elasticsearch kylin …
数据计算
实时计算
storm sparkstreaming flink …
离线计算
hadoop spark …
其他框架
zookeeper …
其实，学习大数据，就是要学习大数据生态圈周边的各种框架。
如果你对大数据开发感兴趣，想系统学习大数据的话，可以戳我加入大数据技术学习交流群，私信管理员即可免费领取开发工具以及入门学习资料大数据学习步骤
上面虽然列出来了很多框架，但是最开始学习的时候没必要全部都学，就算是在工作中，这些框架也不一定会全部用到。
推荐阅读
- “一部手机读云南”上线力争建成国家方志大数据中心西南中心
- 联合国大数据全球平台中国区域中心在杭州成立
- 银行的数据中心可以跳槽去互联网公司吗
- |大数据赋力 半个多月前拉客的“黑车”精准落网
- |奥迪开发基于C-V2X校车警示系统
- 数据采集终端|
- 关于用phpfsocket 写Post， 模拟http 报文怎样写入要传输的处理数据
- 汽车|长安汽车：公司与华为、宁德时代三方正在联合开发智能网联电动汽车平台和产品
- 啥是微信开发WEB前端
- 假如把中国电信监测到的3亿人一个月每天上网的所有行为打个包，哪些数据应该被提出从这些数据能得到啥