Shark/Spark 除了耗内存之外还有啥缺点
Spark作为一种新的系统没有进过实战考验,自然会有一些工业界所需求但是没有达到的东西。据我所知其中一个问题是多租户(multi-tenancy)的问题。在这些大型系统设计的时候,大多考虑的是总体的性能,一般都不会一开始注意各种使用者或者任务之间资源分配问题。我在参与Project Voldemort (http://www.project-voldemort.com/) 开发的时候,也经历了一个多租户问题没有处理的很好的过程,主要表现就是单个数据库表的流量过大会导致其他数据库性能急剧下降的情况。在Spark这样的系统中就表现为如何公平分配内存和计算时间放置任务之间相互影响的问题
■网友
耗内存并不是缺点,像我们内存都超过512GB了,欢迎消耗内存。spark一个缺点,或者说不是缺点,就是运算实时性,并没有我们想象得那么实时,只是“相对”而已。
■网友
耗内存这个不算能是Shark/Spark的缺点,Spark是为了解决hadoop等传统并行计算模型无法解决的迭代计算,交互式计算等问题而诞生的,其RDD模型需要将所有计算的数据保存在分布式的内存中。如果说缺点,就是目前推出时间还不长,不是很成熟,但已经有不少的大数据公司在推广应用了。可以看一下Spark官方wiki这个链接:Powered By Spark。国内已经有不少的公司加入了。前景一片大好。
■网友
据说现在的扩展性不是很好,不过amp还在开发,看好spark
推荐阅读
- 人类能证明除了自己,其他人也有意识吗(我有意识,其他人也一定有这种方式不算)
- 鬼斗车|最有背景却仍籍籍无名 这款车除了高颜值 还有些什么?
- 资本|仅剩沉默的大多数在线教育融资2020:除了资本青睐的独角兽
- 在cs行业工作是一种啥体检
- 大事|还将有这些大事需要注意!12月除了冬令营集体爆发
- 除了那些比较有名的教育机构,有啥别的国考培训班么,最好是重点批改申论题的
- 实习程序员第一个月除了看别人的代码还能干啥
- 车驾值|纯电动时代,BBA除了品牌还剩下什么?
- 为啥在知乎上除了小米外其他手机牌子都在被米粉喷
- 路咖汽车|全新奔腾B70将在今天上市,除了标配座椅加热还有啥亮点?
