0772-1.7.2-如何让CDSW的PySpark自动适配Python版本( 二 )


本文插图
2.运行PySpark作业测试正常运行
0772-1.7.2-如何让CDSW的PySpark自动适配Python版本
本文插图
3.选择Python3环境启动Session
0772-1.7.2-如何让CDSW的PySpark自动适配Python版本
本文插图
4.运行PySpark作业测试正常运行
0772-1.7.2-如何让CDSW的PySpark自动适配Python版本
本文插图
总结
【0772-1.7.2-如何让CDSW的PySpark自动适配Python版本】在集群中同时部署多个版本的Python , 通过在Pyspark代码中使用Python命令动态的指定PYSPARK_PYTHON为我们需要的Python环境即可 。


推荐阅读