linux 环境下 python的安装及pyspark 的环境变量配置

在linux环境下安装 python时,要安装相关的依赖,具体如,这里假设的环境是centos 或是 redhat

-安装devtoolset

    #yum groupinstall "Development tools"

-安装编译Python时需要的相关依赖

    #yum install zlib-devel bzip2-devel openssl-devel sqlite-devel

-解压源码包

    $tar -zxv Python-*.*.*.tar.gz

-编译及安装

    #cd Python-*.*.*

    #./configure --prefix=/usr/local

    #make && make install

假设spark 安装在/opt的目录下

export  SPARK_HOME=/opt/spark-2.2.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH

尤其要注意最后一句的配置,如果没有话,当 python 执行 from pyspark import SparkConf,SparkContext 会报找不到 pyspark 模块的错误 

猜你喜欢

转载自blog.csdn.net/lepton126/article/details/86466893