Apache Hadoop, IBM Symphony Platform, Aliyun ODPS, Tencent TDW 的区别与联系
谢邀，但这个问题涉及的面太广，可分析的维度太多，我只能瞎扯:)首先我基本了解Hadoop，Symphony完全不懂, 对ODPS比较熟悉，TWD稍微了解。笼统得概括来说:Apache Hadoop属于开源的分布式计算基础架构，理论基础是Google开放的几篇论文，主要组件包括分布式存储HDFS, 编程模型MapReduce，分布式锁Zookeeper。开源社区和各大公司基于Hadoop平台为应对不同场景开发了很多其他系统，像数据仓库领域的Hive、Pig等，NoSQL领域的HBase，机器学习领域的Mahout等等。从生态繁荣的角度说，Hadoop生态圈是这几个东西里最繁荣的，繁荣到难以想象，甚至最近比较火的Spark基本在以一个新的思路在重新定义各种实现。在Hadoop生态圈找不到解决方案，用其他产品也很难找到。业界各公司在Hadoop都有很大的投入或依赖，像Facebook，国内的BAT都有很大规模的Hadoop集群。Symphony完全不了解Aliyun ODPS，可以参考阿里巴巴的ODPS？ODPS底层的基础架构和Hadoop类似，基本理论基础是Gooogle开放的那几篇论文。ODPS的产品形态是开放的公共服务，这是产品形态上最大的区别，同类可参考的是Google的BigQuery。Tencent TDW，可以大概理解成是腾讯基于Hadoop生态圈的开源产品搞出来的一套腾讯内部自己的数据仓库解决方案。对Hadoop，Hive做了一些改进、修改，开发了一些方便系统、数据管理的工具、服务。可以参考TDW项目负责人的一个访问【OSTC讲师专访】腾讯TDW项目：开源的分布式数据仓库-CSDN.NET利益相关: 阿里员工，前ODPS团队成员
■网友
这个要 @高帅不富的飞哥
■网友
首先，讨论和对比之前，所有的同类产品都应该先向hadoop致敬，向google那三篇论文致敬。关于ODPS的技术介绍，以及与同类产品的对比，可以参考这个问题：阿里巴巴的ODPS？从产品上来看，最大的区别其实是ODPS是公有云服务，实现了多租户隔离和授权、开箱即用、按量付费。而楼主提到的其他产品，并不是点击鼠标就可以自助开通的共有云。这一点上来看，ODPS与Google BigQuery最相似。亚马逊AWS EMR尽管也是公有云，但它的实现方式本质上是卖虚拟机实例，然后自动部署hadoop，这种方式的弹性就不如ODPS和Bigquery了（无法把单一节点内的CPU核再分给多个用户作业分享），技术方案会导致成本劣势，降价空间受限。最后是广告时间（求不折叠）。我们团队在招人，云计算、大数据、分布式计算人才很合适，欢迎投简历，具体信息参考 GeneDock 也欢迎推荐，成功入职后奖励推荐人iPhone或DJI大疆无人机。
■网友
Apache Hadoop 就像 linux内核。IBM platform Symphony 就像 Unix。ODPS就像Amazone EC2。Apache Hadoop本身不收钱。 但Cloudera, Horton works 做的解决方案都收钱。IBM platform Symphony 的收费方式跟Cloudera, Horton works 类似，但它在Hadoop 之前就有了，只是现在又支持了 Hadoop 的API。世界上top 10 的投行有大约7家已经使用。所以在 银行领域基本可以说是支配地位。另外，如果使用者足够强大，可以利用 Apache Hadoop 搞一套 ODPS。
推荐阅读
- hadoop中的mapreduce链接（mapreduce chaining）怎样避免中间文件的产生
- IBM的前途怎样
- Facebook, Google, 百度等公司自制开源服务器，对IBM,HP,Dell等传统服务器生产商的冲击是啥
- c++写http服务器不用cgi和apache该用啥
- IBM到底是做啥的到底是以啥方式赚钱的
- 国内有哪些大数据平台能够处理复杂的OLAP场景，MPP或者Hadoop都可以
- 工作两年了，java方向应不应该转hadoop开发
- 信息技术产生的背景是怎么样的
- 毕业想去澳大利亚工作，目前有两个实习offer，一个eBay，一个IBM，选哪个呢
- 求助大家有没有好的学习hadoop的网站或者论坛分享一下，谢谢！?