想请教一下spark和webservice之间的数据交互一般咋完成
蟹妖 @肉包子凡小凡如果可以用SparkSQL来处理的话,建议使用Thrift Server(Spark SQL and DataFrames)处理,提供JDBC接口,对webservice很友好。如果是提交Spark Core应用的话,你说的文件、数据库等都可以实现交互,另外有两个项目:spark-jobserver/spark-jobserverAtigeo/spark-job-rest大同小异的,都是使用rest接口提交Spark任务,前者应该还进了spark package的。
■网友
本身的分析任务又要发给spark去分析,结果由spark传递给webservice再发给前端展现:对于此气我的实战经验有一个很简单的实现,分析任务又要发给spark去分析,将分析任务日志通过kafka等落地到hdfs上,spark直接从hdfs上读取日志,然后分析结果存到hbase,前端直接从hbase读取显示,如果是实时的可以用spark streaming
■网友
可以将spark application写成restful服务调用
■网友
Spark SQL and DataFrames
■网友
【想请教一下spark和webservice之间的数据交互一般咋完成】 Apache livy
或者 spark rest
推荐阅读
- 建议|育婴师给出这几点建议,来了解一下小孩发烧咳嗽怎么办
- 车祸违驾|为什么交警在查车时,会用手摸一下车尾,你知道是什么意思吗?
- 有哪些做短视频的自媒体推荐
- 想买个30w—50w的轿车,外形优雅精致,气质沉静内敛。要能够顾家,稳定,安全性能好。请帮忙推荐一下
- 汽车扒一扒|有谣言说国内的雷克萨斯配置低,我澄清一下,这不是谣言
- 怎样防止U盘内的文件被复制
- 汽车知识|广汽丰田旗下全新TNGA中型SUV“威兰达”,还不来了解一下
- 卫星云图中这种图像是啥情况
- 端口到底是啥概念和ip之间有啥关系能形象+抽象的从技术角度描述一下吗
- 趣头条|同价位很豪SUV,试驾体验一下瑞虎8PLUS的好坏!
