Mac pycharm 导入pyspark

转载于:点击打开链接

1 前提:已经安装了pycharm,下载了spark(官网下载,我下的是spark-2.1.1-bin-hadoop2.7.tgz,解压缩后为文件夹spark-2.1.1-bin-hadoop2.7,我将文件放在了/Applications/spark/下,这个文件夹里面有python文件,python文件下还有两个压缩包py4j-some-version.zip和pyspark.zip,之后会用到

2 在网上 我搜了很多网页,但是只解决了运行环境的问题,使用pyspark时from pyspark import SparkContext,代码依然划红线,运行依然显示没有该模块。

3 不管对不对,在pycharm上的project interpreter上下载py4j,因为很多博客说pyspark依赖这个模块。

4 随便打开一个project,pycharm右上角“run”三角形的左边有一个run configurition,打开它。

5 设置configurition---Environment--- Environment variables ---点击“...”,出现框框,点击+,输入两个name,一个是SPARK_HOME,另外一个是PYTHONPATH,设置它们的values,SPARK_HOME的value是安装文件夹spark-2.1.1-bin-hadoop2.7的绝对路径,PYTHONPATH的value是该绝对路径/python,例如我的SPARK_HOME的value是/Applications/spark/spark-2.1.1-bin-hadoop2.7,那么我的PYTHONPATH的value是/Applications/spark/spark-2.1.1-bin-hadoop2.7/python 。设置好了保存。(注意不管是路径的哪里,都不能有空格!!尤其是结尾!!今天下午就因为一个空格折磨我好久)

6 关键的一步,还要去配置其他的。很多网页上都只有到第5步。在perferences中的project structure中点击右边的“add  content root”,添加py4j-some-version.zip和pyspark.zip的路径(这两个文件都在Spark中的python文件夹下)

7 完成,from pyspark import SparkContext,红线消失,运行正常。

发布了32 篇原创文章 · 获赞 8 · 访问量 8万+

猜你喜欢

转载自blog.csdn.net/jeffiny/article/details/79648099