Spark1.2.0伪分布式安装
- JDK1.7.0_67
- Haddoop2.5.2(伪分布式安装)
- Scala2.11.4
- Spark1.2.0(伪分布式安装)
下载并配置Scala
1. 下载Scala2.11.4
wget http://downloads.typesafe.com/scala/2.11.4/scala-2.11.4.tgz?_ga=1.10268349.906591.1419820693
2. 改名
mv scala-2.11.4.tgz?_ga=1.10268349.906591.1419820693 scala-2.11.4.tgz
3. 配置Scala的环境变量
vim /etc/profile export SCALA_HOME=/home/hadoop/software/scala-2.11.4 export PATH=$SCALA_HOME/bin:$PATH
下载Spark1.2.0(与Hadoop2.4兼容版本)
1.下载Spark1.2.0与Hadoop2.4兼容版本
http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0-bin-hadoop2.4.tgz
在本测试环境中，使用的是Hadoop2.5.2版本，测试发现，这个版本的Spark(2.4兼容版本)可以与Hadoop2.5.2兼容
2. 解压Spark安装包到如下目录
tar xzvf spark-1.2.0-bin-hadoop2.4.tgz /home/hadoop/software/spark-1.2.0-bin-hadoop2.4
配置Spark相关的环境变量
1. vim /etc/profile,编辑完成后使用source /etc/profile使得变量生效
export SPARK_HOME=/home/hadoop/software/spark-1.2.0-bin-hadoop2.4 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
这些需要配置的环境变量很多，不过之前在安装JDK，Scala和Hadoop时，已经设置过了，具体需要配置哪些环境，可以看配置spark-env.sh的配置。为了保险期间，可以设置如下的环境变量(在/etc/profile和spark-env.sh同时配置)
- SCALA_HOME
- JAVA_HOME
- HADOOP_HOME
- SPARK_HOME
- YARN_CONF_DIR
2. 把spark-env.sh.template改为spark-env.sh
cp spark-env.sh.template spark-env.sh
3. 配置spark-env.sh
export SCALA_HOME=/home/hadoop/software/scala-2.11.4 export JAVA_HOME=/home/hadoop/software/jdk1.7.0_67 export SPARK_MASTER=localhost export SPARK_LOCAL_IP=localhost export HADOOP_HOME=/home/hadoop/software/hadoop-2.5.2 export SPARK_HOME=/home/hadoop/software/spark-1.2.0-bin-hadoop2.4 export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
启动Spark
1. 在Spark安装目录的sbin目录下执行./start-all.sh命令启动Spark
$SPARK_HOME/sbin/start-all.sh
2. 启动过程中报rsync错误，不过通过查看Java进程可以看到Spark已经启动
可见，启动Spark后，启动了两个Java进程Master和Worker
3. 访问http://localhost:8080，可以看到Spark Master的状态
4. 访问如下地址可以查看关于Spark相关的情况
- http://192.168.26.135:4040/jobs
- http://192.168.26.135:4040/stages/
- http://192.168.26.135:4040/storage/
- http://192.168.26.135:4040/environment/ (包含Spark Shell的类路径)
- http://192.168.26.135:4040/executors/
由下图可见，Spark Shell启动后，只有一个Executor，即driver
Spark Shell运行Word Count
1. 启动Spark Shell
bin/spark-shell
第一次启动过程中用了4分钟，并且系统卡住没反应，不过以后再启动Spark Shell则很快，快则1,2秒，慢则10几秒。Spark Shell启动后，Spark启动了一个进程SparkSubmit
2. 运行Spark Word Count
2.1 Spark Shell启动后，进行入scala命令行模式，此时，Spark已经默认给我们创建了一个SparkContext,sc,如：
scala> sc res0: org.apache.spark.SparkContext = org.apache.spark.SparkContext@756cf002
2.2. 在Hadoop HDFS上创建一个文本文件，如：
hdfs dfs -cat /users/hadoop/wordcount/word.txt
内容是：
2.3 Spark读取HDFS上的文本文件word.txt
val file = sc.textFile("hdfs://hadoop.master:9000/users/hadoop/wordcount/word.txt")
这行语句的结果是创建了一个MappedRDD，即file的类型是MappedRDD，执行结果如下所示：
最后的<Console>:12,12指的是什么？不像是word.txt的字节数
2.3.0 题外话：
hdfs://hadoop.master:9000，这里的hadoop.master不能是localhost，因为telnet localhost 9000拒绝连接，如下图所示：
2.4. 执行如下操作
scala> val count = file.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_+_)
结果：
可见count是ShuffledRDD类型
2.5 统计结果
scala> count.collect()
查看Spark Master和Spark Worker的运行结果
通过访问http://192.168.26.135:8080/和http://192.168.26.135:8081/，可以查看Spark Master和Spark Worker的运行状态。结果发现，Master上Completed Applications依然为0，原因不清楚， Spark Master UI不显示Spark Shell提交的任务？
参考：http://blog.csdn.net/yeruby/article/details/41042713