spark执行速度非常慢,数据量不大,请教高手是不是代码问题
我猜的原因是访问es的时候慢了,如果全部落在hdfs上会好很多,你只有5000条数据,单机也应该很快,关键是你访问es的速度是多少
■网友
代码没毛病,你是hadoop+hive+spark吧,这样的集群3g内存能不能起的来都得烧柱香,要想继续学spark还是搞到8g左右吧
■网友
继续代码,下面的加粗的代码就是执行很慢的过程println("...........................................start map1111......................................................")val map1 = sql22.map(r =\u0026gt; (r.getAs("username").toString,List(if(r.getAs("event") == 0) (r.getAs("time").toLong,0) else (0,r.getAs("time").toLong)))) println("...........................................start map2222......................................................") val map2 = map1.reduceByKey(_++_) println("...........................................start map3333......................................................") val map3 = map2.map(r =\u0026gt; c_vm_active(r._1, vm_active(r._2)))
■网友
强势围观
推荐阅读
- 市行政■盐城不动产交易一体化平台跑出全省最快加速度
- 山西高校回应“学生体测替考被取消学位:按规定执行
- “九层妖塔”特大盗窃案公益诉讼赔偿金足额执行到位
- 南北■长三角加速度!打通江苏南北的“高铁生活”倍受期待
- #补贴#江阴为何迟迟没执行?|解忧帮 无锡:机动车报废有补贴
- 互联网怎样解决“家政服务上门速度慢”的问题
- 为啥开通了百度云超级会员下载速度还是会那么慢
- Auto实验室|捷豹XEL下探5万,速度与豪华并存,特点鲜明科技感十足
- 绝经|45岁绝经和55岁绝经的女性,有什么不一样?哪个衰老速度更快?
- 互联网发展速度太快,怎样跟上节奏
