0772-1.7.2-如何让CDSW的PySpark自动适配Python版本( 二 )


0772-1.7.2-如何让CDSW的PySpark自动适配Python版本
本文插图


2.运行PySpark作业测试正常运行
0772-1.7.2-如何让CDSW的PySpark自动适配Python版本
本文插图


3.选择Python3环境启动Session
0772-1.7.2-如何让CDSW的PySpark自动适配Python版本
本文插图


4.运行PySpark作业测试正常运行
0772-1.7.2-如何让CDSW的PySpark自动适配Python版本
本文插图


总结
在集群中同时部署多个版本的Python , 通过在Pyspark代码中使用Python命令动态的指定PYSPARK_PYTHON为我们需要的Python环境即可 。


推荐阅读