1.下载pycharm
2.安装python(linux,mac一般都有python2.7,3.5)略
3.安装spark 环境,不是重点略.
4.安装pip
curl -O https://bootstrap.pypa.io/get-pip.py
使用Python安装pip(升级pip install --upgrade pip [如需要 sudo]
python get-pip.py
pip 安装模块 pin install 模块名
pip freeze
5.安装spark 需要的py4j
pip install py4j
6.项目导入SPARK_HOME下python目录pyspark.zip,及py4j.zip
项目--->File--->setting-->project interceptor -->最有边 绿色+ (加号)添加第三方模块
注:如遇到无法安装(一般是权限),可以使用sudo pip(对应python 版本,pip -V查看) 模块名
7.配置SPARK_HOME,PYTHON_HOME
a)创建python文件,然后进行配置上述两个变量
右上角(对应python文件)-->edit configuration-->Enviroment Variable
改行最有边(三个...)点击,添加key,value(上述两个变量)