spark程序开发流程
谢@沈鑫 邀
我比较土。因为测试验证集群是公共的,不允许在上面开发,所以都是在本地(windows的桌面云)开发,本地用例调试过后,在本地打包或者到构建服务器上打包再部署到集群运行。
■网友
1.构建Spark Application的运行环境(启动SparkContext),SparkContext向资源管理器(可以是Standalone、Mesos或YARN)注册并申请运行Executor资源;
2.资源管理器分配Executor资源并启动StandaloneExecutorBackend,Executor运行情况将随着心跳发送到资源管理器上;
3.SparkContext构建成DAG图,将DAG图分解成Stage,并把Taskset发送给Task Scheduler。Executor向SparkContext申请Task,Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。
4.Task在Executor上运行,运行完毕释放所有资源。
■网友
【spark程序开发流程】 建议本地使用IDE开发好,编译通过后使用spark-submit传上去
命令行手打Java和Scala都很难受
推荐阅读
- 电商网站支付流程的流失率是怎么样的从用户点击充值/支付按钮,到支付完成,其中每一步的流失比率都是咋样的
- 视觉|【干货】0~3岁婴幼儿视力发育流程
- 为啥滴滴和快的的专车业务在叫车的产品流程里面没有参考uber的派单的模式而是继续采用司机抢单的模式
- |连云港完成首个全流程电子化水利工程招投标项目
- 内置于APP程序内的广告,SDK广告的市场前景怎样,如有媒介的话,APP程序开发者.媒介.广告商咋分成的
- toB和toC公司及业务上的区别?
- 最近老板让我们自己做个小程序,有没有人有专业的小程序开发教程啊~
- 北大青鸟航天桥校区已交学费现在想退费他们不给退,该咋办有清楚退费流程的吗
- 去哪找靠谱的小程序开发,技术好一些的个人也行呢,有没有推荐
- 关于怎样做好一个市场专员有啥建议包括活动的整体运营、策划、流程安排以及阅读的书籍和网站内容等
