spark程序开发流程

谢@沈鑫 邀

我比较土。因为测试验证集群是公共的,不允许在上面开发,所以都是在本地(windows的桌面云)开发,本地用例调试过后,在本地打包或者到构建服务器上打包再部署到集群运行。

■网友
1.构建Spark Application的运行环境(启动SparkContext),SparkContext向资源管理器(可以是Standalone、Mesos或YARN)注册并申请运行Executor资源;
2.资源管理器分配Executor资源并启动StandaloneExecutorBackend,Executor运行情况将随着心跳发送到资源管理器上;
3.SparkContext构建成DAG图,将DAG图分解成Stage,并把Taskset发送给Task Scheduler。Executor向SparkContext申请Task,Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。
4.Task在Executor上运行,运行完毕释放所有资源。

■网友
【spark程序开发流程】 建议本地使用IDE开发好,编译通过后使用spark-submit传上去
命令行手打Java和Scala都很难受


    推荐阅读