pyhon Spark初探1——windows下安装spark

1.在csdn和博客园上看了很多博客，感觉很多都没有讲明白如何安装python环境的spark，既然如此，我就自己学习，从零开始学习spark好了。

2.在spark下载页面（http://spark.apache.org/downloads.html）下载spark-2.3.1-bin-hadoop2.7.tgz，解压到E盘（任意盘），设置环境变量SPARK_HOME=E:/spark-2.3.1-bin-hadoop2.7.tgz

3.pip install findspark

4.测试是否成功

import findspark
findspark.init()

输入上面的代码，不报错就说明成功了。

5.在这里数据库我们选用mysql数据，那就学习一下python调用mysql数据库，pip install PyMySQL，在这里我推荐大家使用的数据库管理工具是NaviCat for MySQL，之所以推荐这个，是因为它实在是太好用了。

注意：一定不要忘了自己数据库的密码，不然重设还挺麻烦的

6.开始安装pyspark，pip install pyspark，安装包不小，211.9M大概要安装一会。安装完成后，进行简单的测试。

from pyspark import SparkContext

不报错说明安装成功