用Amazon EC2建立Spark集群后运行出现问题,总是Lost Executor?

你这应该是full gc引起的超时。算平均数应该用不了多大内存。你是不是用的groupByKey?如果是的话,换成reduceByKey应该就好了。
■网友
首先同意另一个答主说的有道理。其次,t1.micro不是用来干这个的,你数据量再小他也算不出来,因为ti.micro的network非常非常非常非常差。一丁点的数据足够你的t1.micro cluster传到timeout。建议你换了m3试试,你这点数据一台就够。


    推荐阅读