用Amazon EC2建立Spark集群后运行出现问题,总是Lost Executor?
你这应该是full gc引起的超时。算平均数应该用不了多大内存。你是不是用的groupByKey?如果是的话,换成reduceByKey应该就好了。
■网友
首先同意另一个答主说的有道理。其次,t1.micro不是用来干这个的,你数据量再小他也算不出来,因为ti.micro的network非常非常非常非常差。一丁点的数据足够你的t1.micro cluster传到timeout。建议你换了m3试试,你这点数据一台就够。
推荐阅读
- 江苏■全省信访事项办理群众满意率达95% 江苏基本建立信访业务标准化体系
- |南通海关提醒企业:建立健全出口管制内部合规制度
- 开发/维护 一个类似qq会员或者Amazon Prime会员的会员系统有哪些难点和挑战
- 火车上能建立wifi吗
- 一个不熟悉的人要找我做合伙人,求指导
- 扁平化|
- 党建|娄庄镇建立民企党建联盟激活发展红色动能
- 怎样从零开发出一个app
- Amazon Lightsail 的使用体验怎样
- TCP校验和失效的概率是多少
