Shark/Spark 除了耗内存之外还有啥缺点

Spark作为一种新的系统没有进过实战考验,自然会有一些工业界所需求但是没有达到的东西。据我所知其中一个问题是多租户(multi-tenancy)的问题。在这些大型系统设计的时候,大多考虑的是总体的性能,一般都不会一开始注意各种使用者或者任务之间资源分配问题。我在参与Project Voldemort (http://www.project-voldemort.com/) 开发的时候,也经历了一个多租户问题没有处理的很好的过程,主要表现就是单个数据库表的流量过大会导致其他数据库性能急剧下降的情况。在Spark这样的系统中就表现为如何公平分配内存和计算时间放置任务之间相互影响的问题
■网友
耗内存并不是缺点,像我们内存都超过512GB了,欢迎消耗内存。spark一个缺点,或者说不是缺点,就是运算实时性,并没有我们想象得那么实时,只是“相对”而已。
■网友
耗内存这个不算能是Shark/Spark的缺点,Spark是为了解决hadoop等传统并行计算模型无法解决的迭代计算,交互式计算等问题而诞生的,其RDD模型需要将所有计算的数据保存在分布式的内存中。如果说缺点,就是目前推出时间还不长,不是很成熟,但已经有不少的大数据公司在推广应用了。可以看一下Spark官方wiki这个链接:Powered By Spark。国内已经有不少的公司加入了。前景一片大好。
■网友
据说现在的扩展性不是很好,不过amp还在开发,看好spark


    推荐阅读