想请教一下spark和webservice之间的数据交互一般咋完成

蟹妖 @肉包子凡小凡如果可以用SparkSQL来处理的话,建议使用Thrift Server(Spark SQL and DataFrames)处理,提供JDBC接口,对webservice很友好。如果是提交Spark Core应用的话,你说的文件、数据库等都可以实现交互,另外有两个项目:spark-jobserver/spark-jobserverAtigeo/spark-job-rest大同小异的,都是使用rest接口提交Spark任务,前者应该还进了spark package的。
■网友
本身的分析任务又要发给spark去分析,结果由spark传递给webservice再发给前端展现:对于此气我的实战经验有一个很简单的实现,分析任务又要发给spark去分析,将分析任务日志通过kafka等落地到hdfs上,spark直接从hdfs上读取日志,然后分析结果存到hbase,前端直接从hbase读取显示,如果是实时的可以用spark streaming
■网友
可以将spark application写成restful服务调用

■网友
Spark SQL and DataFrames
■网友
【想请教一下spark和webservice之间的数据交互一般咋完成】 Apache livy
或者 spark rest


    推荐阅读