Spark比Hadoop的优势有这么大吗
spark现在shuffle确实要通过硬盘，单单从IO读写上体现不出比Hadoop的太大优势，Spark的优势在于内存计算和对内存中RDD的管理。这个优势结合Tachyon（基于内存的分布式文件系统），以后还是有很大的空间的。对于Hadoop，1.x已经比较过时了，到时基于Yarn的2.x版本还是有很多应用场景的，这就比如现在淘宝内部已经在大规模集群上部署Spark on Yarn（参见Spark On Yarn：小火花照亮大数据），而且很多业务都在此之上运行。个人感觉，以后Hadoop2.x（Yarn）的发展方向可能会变成一种广泛应用的中间件。
■网友
谢邀！
【Spark比Hadoop的优势有这么大吗】 迭代运算不Shuffle的时候速度快，当运算数据大于内存时，数据频繁写入磁盘，这时候实际上和hadoop差不多了。所以spark替代hadoop不是绝对的，只是在特定场景
■网友
成熟度还差得远着呢
■网友
首先Hadoop是一个比较大的概念，我理解你是想比较Spark和MapReduce我总结的优势包括：1 事件触发任务执行的机制优于MR的心跳触发任务执行机制2 DAG的任务调度执行机制优于MR的迭代执行机制
■网友
hadoop是个工具包，spark是个工具。spark要替换的是hadoop中的map-reduce。
■网友
不大吧？速度上也就十倍左右的差距，就是hadoop要10个小时的，用spark只用1个小时了，你觉得呢
推荐阅读
- 孩子|和在夏天出生哪个更好？冬天生三个优势遥遥领先孩子在冬天出生
- hadoop中的mapreduce链接（mapreduce chaining）怎样避免中间文件的产生
- 雄激素|雄激素旺盛的男性，3个“优势”很难藏住，不妨自查看看
- 维基汽车|为什么这么多人喜欢蔚来汽车 哪些优势值得传统车企借鉴
- 贵州对于大数据有哪些方面的地域优势为啥都是贵州呢
- 老侯说车|问答：柴油动力的家用车有哪些优势与不足？建议选择吗？
- |凝聚资源优势，提升科创水平 第二届淮海科技协同发展峰会在徐召开
- 小儿|优势互补！产康与小儿推拿的完美结合！
- 本科理学学哪个（纠结于三个专业，补充里有说明）在未来专业转型（确定专业方向）及发展方面更占优势
- 拥有视觉设计能力学编程比单纯的工程师有哪些优势