Spark:python版本 error executor

示例系统Ubuntu16 64位
python2.7.14
python3.5.2

hadoop和python版本没有依赖关系,
spark配置python版本只有一个位置,
是系统中的~/.bashrc环境变量,
修改export PYSPARK_PYTHON=python3 后面的python版本,
若是python2则修改为export PYSPARK_PYTHON=python
或修改为 export PYSPARK_PYTHON=python2 都可以。

注:如果运行python版本与你环境配置的python版本不一致的话,
回报这样一个错误
ERROR executor.Executor:Exception in taskjava.lang.AssertionError:assertion failed

猜你喜欢

转载自blog.csdn.net/shelldawn/article/details/80073229