spark执行速度非常慢,数据量不大,请教高手是不是代码问题

我猜的原因是访问es的时候慢了,如果全部落在hdfs上会好很多,你只有5000条数据,单机也应该很快,关键是你访问es的速度是多少
■网友
代码没毛病,你是hadoop+hive+spark吧,这样的集群3g内存能不能起的来都得烧柱香,要想继续学spark还是搞到8g左右吧
■网友
继续代码,下面的加粗的代码就是执行很慢的过程println("...........................................start map1111......................................................")val map1 = sql22.map(r =\u0026gt; (r.getAs("username").toString,List(if(r.getAs("event") == 0) (r.getAs("time").toLong,0) else (0,r.getAs("time").toLong)))) println("...........................................start map2222......................................................") val map2 = map1.reduceByKey(_++_) println("...........................................start map3333......................................................") val map3 = map2.map(r =\u0026gt; c_vm_active(r._1, vm_active(r._2)))
■网友
强势围观


    推荐阅读