异常:Python in worker has different version 2.6 than that in driver 2.7

问题:pyspark的环境和系统python环境冲突

解决:

方法一、

import os
os.environ['PYSPARK_PYTHON']='/opt/anaconda2/bin/python'

方法二、

export PYSPARK_PYTHON= 位置

export PYSPARK_DRIVER_PYTHON=位置

猜你喜欢

转载自www.cnblogs.com/xiennnnn/p/11597664.html
今日推荐