Jupyter Notebook+Spark安装

安装JDK8

Windows安装jdk8

下载地址：
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

1. 配置环境变量 ，我的安装地址是E盘；
2. JAVA_HOME
   E:\jdk8；
3. CLASSPATH
   .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar；
4. PATH(新增PATH环境变量)
   .;E:\jdk8\jre\bin;E:\jdk8\bin;
5. 验证是否安装成功 ，dos 命令 java javac java -version 各个敲一下；
   

Ubuntu安装

—暂略—

安装Spark

Windows安装Spark

下载地址：
http://spark.apache.org/downloads.html

1. 注意，此处版本必须是2.3.2或以下，解压到E盘，重命名为spark
2. 配置环境变量 ，新建环境变量SPARK_HOME
   E:\spark
3. PATH
   %SPARK_HOME%\bin;%SPARK_HOME%\sbin;

Ubuntu安装Spark

—暂略—

安装Hadoop

Windows安装Hadoop

上面安装spark的时候有对hadoop的版本要求，这里要求的是2.7及以后的版本
下载地址：
http://hadoop.apache.org/releases.html

1. 解压到E盘，重命名为hadoop
2. 配置环境变量 ，新建环境变量HADOOP_HOME
   E:\hadoop
3. PATH
   %HADOOP_HOME%\bin;
4. 下载压缩包，重命名为mater.zip然后解压出来，复制其中的winutils.exe和winutils.pdb到目录：E:\hadoop\bin
5. 验证是否安装成功 ，当输入命令pyspark出现以下结果时表明spark安装配置完成了 验证是否安装成功 ，当输入命令pyspark出现以下结果时表明spark安装配置完成了
   

Ubuntu安装Hadoop

—暂略—

安装Anaconda

Windows安装Anaconda

下载地址：
https://www.anaconda.com/download/#windows

1. 安装过程中:
   
2. 以管理员身份启动CMD
3. pip install pyspark

Ubuntu安装Anaconda

—暂略—

在Jupyter Notebook运行Python Spark程序

运行命令

Windows本地运行

1. 创建ipython目录
2. 配置环境变量，CMD中输入
   setx PYSPARK_DRIVER_PYTHON ipython
   setx PYSPARK_DRIVER_PYTHON_OPTS notebook
3. 本地运行Pyspark
   从新打开一个CMD，输入
   pyspark --master local[4]
   

Windows yarn

—暂略—

Windows standalone

—暂略—

Ubuntu本地运行

—暂略—

Ubuntu yarn

—暂略—

Ubuntu standalone

—暂略—