ubuntu + pyspark 开发环境搭建

1.下载,安装anaconda .

https://www.anaconda.com/distribution/

sudo  bash  Anaconda3-5.2.0-Linux-x86_64.sh

全部使用默认选项,可以指定anaconda 的安装目录,最后遇到vscode 时,选择no

2.安装pycharm(专业版:需要激活码,社区版)

http://www.jetbrains.com/pycharm/download/#section=linux

解压安装后,使用其目录下bin/pycharm.sh启动,添加到左侧收藏夹。

3.将anaconda 的python 版本添加到pycharm

4.将spark目录下,$SPARK_HOME/python/  下的  pyspark目录放到anaconda目录 /usr/anaconda3/lib/python3.6/site-packages/

/usr/spark23/python/
总用量 96
drwxrwxrwx  8 jerry jerry  4096 3月  28 14:58 ./
drwxrwxrwx 15 jerry jerry  4096 3月  28 14:59 ../
drwxrwxrwx  2 jerry jerry  4096 3月  28 14:58 dist/
drwxrwxrwx  4 jerry jerry  4096 3月  28 14:58 docs/
-rwxrwxrwx  1 jerry jerry    49 3月  28 14:58 .gitignore*
drwxrwxrwx  2 jerry jerry  4096 3月  28 14:58 lib/
-rwxrwxrwx  1 jerry jerry  1041 3月  28 14:58 MANIFEST.in*
-rwxrwxrwx  1 jerry jerry 13991 3月  28 14:58 pylintrc*
drwxrwxrwx  8 jerry jerry  4096 3月  28 14:58 pyspark/
drwxrwxrwx  2 jerry jerry  4096 3月  28 14:58 pyspark.egg-info/
-rwxrwxrwx  1 jerry jerry  1860 3月  28 14:58 README.md*
-rwxrwxrwx  1 jerry jerry   899 3月  28 14:58 run-tests*
-rwxrwxrwx  1 jerry jerry 11497 3月  28 14:58 run-tests.py*
-rwxrwxrwx  1 jerry jerry   854 3月  28 14:58 setup.cfg*
-rwxrwxrwx  1 jerry jerry 10170 3月  28 14:58 setup.py*
-rwxrwxrwx  1 jerry jerry    40 3月  28 14:58 test.csv*
drwxrwxrwx  4 jerry jerry  4096 3月  28 14:58 test_support/

cp -r  /usr/spark23/python/pyspark/   /usr/anaconda3/lib/python3.6/site-packages/

发布了150 篇原创文章 · 获赞 15 · 访问量 10万+

猜你喜欢

转载自blog.csdn.net/dymkkj/article/details/88886060
今日推荐