考研选了分布式计算方向,以后可以做大数据工程师吗
如果只是成为大数据工程师,好像和C语言关系不太大吧。我本人是做Java后台的,大数据平台开发,所以以下提及的主要是JVM相关的。分布式主要涉及分布式计算,分布式存储,分布式协调,消息队列等。分布式计算主要有Hadoop,Spark,Storm等。分布式存储一般用Hadoop的HDFS,以及基于HDFS的HBase,还有一些数据库类似的Redis和MongoDB(这两个算分布式存储吧)。分布式协调,我只接触过Zookeeper,据说现在这个用的越来越少了,事务比较慢,数据没有多版本。分布式消息队列有很多,Kafka,ActiveMQ,RabbitMQ。在我接触的以上这些东西中,除了Redis和MongoDB是C(C++)语言写的,RabbitMQ是Erlang写的,其他都是JVM上的语言(Java,Scala,Cojure)写的。不管是什么语言写的,这些都提供了Java的接口。菜鸟一枚,希望有帮助。
■网友
说说我的观点。一个大数据系统通常包括两个方面,其中一个方面包括数据的采集、清洗、存储以及计算框架等。数据量的增大使得数据的存取和计算需要花费的时间更多了,多到单机无法满足要求了。单个机子不够存了,这时需要分布式存储,那么一个分布式存储系统要怎么设计,如何存,如何取,如何保证效率,如何保证高可靠性,如何scale out等,都是需要研究的。解决了存取的问题之后,如何计算使得效率快,肯定是需要并行的处理。那么如何分割任务,如何汇集结果等,如何容错等,都会影响到一个计算工作的时长。你需要研究一个分布式系统的设计原理,它企图解决的问题,擅长的地方,不足的地方,必要时,能改进些不足之处,而不是仅仅学会使用一些开源工具。如果你对这方面感兴趣,选择分布式计算这个方向应该是合适的。另一方面是跑在这些数据之上的算法。比如当收集了用户的历史行为数据后,怎么用这些数据构建用户的兴趣模型,怎么对用户进行推荐,这就是算法层面的工作了。你需要研究的就是如何改进你的算法,使得算法的结果越来越好。如果你对这方面更感兴趣,你应该选择数据挖掘、机器学习相关方向。
■网友
可以找些 go 语言大神问问
■网友
可以啊。 先考上再说别的吧。 考研其实和工作距离很大。
■网友
【考研选了分布式计算方向,以后可以做大数据工程师吗】 分布式就是大数据处理的方向之一啊
推荐阅读
- 大连对封闭区考研生采用单独免费隔离酒店
- 暖心!江西一高校为考研学子搭起“考研必胜长廊”(图)
- 有啥方法,网站,项目可以自己练习计算广告学
- 大三学生准备日本留学过程中要不要准备考研
- 大部分黑客或安全研究员读的是啥「大学专业 」
- 在哈尔滨工业大学计算机系就读是啥样的体验
- 计算机技术与科学专业怎样利用高中毕业的暑假
- 非计算机专业想要利用课余时间深入自学C++,想要找到比较体面的工作大概需要啥水平
- 「巧克力中富含黄烷醇,能够增强脑部活动能力;因此人均巧克力消费量越高的国家,按人口平均计算的诺贝尔奖得主人数就越多。」这种说法科学么
- 有点计算机基础的人想尽快找份编程的工作。哪种编程的工作最好找还需要学些啥
