Spark 安装&配置

前提安装 hadoop ,JDK 环境

下载地址 scala:

http://www.scala-lang.org/download/2.11.6.html

解压: tar –zxvf scala-2.11.6.tgz

配置环境变量:vi /etc/profile

export SCALA_HOME=/opt/scala-2.11.6

export PATH=$SCALA_HOME/bin:$PATH

执行(立即生效):source /etc/profile 

执行:cd /opt/scala-2.11.6/bin

      ./scala –version

输出(安装成功):Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

下载地址 spark:

http://apache.fayea.com/spark/spark-1.4.0/spark-1.4.0-bin-hadoop2.6.tgz   

解压: tar –zxvf  spark-1.4.0-bin-hadoop2.6.tgz

配置环境变量: vi /etc/profile

export SPARK_HOME=/opt/spark-1.4.0-bin-hadoop2.6

export PATH=$SPARK_HOME/bin:$PATH

执行(立即生效):source /etc/profile

进入spark conf 目录: cd /opt/spark-1.4.0-bin-hadoop2.6/conf

执行: cp  spark-env.sh.template  spark-env.sh

执行: vi spark-env.sh

添加如下内容:

export JAVA_HOME=/usr/java/jdk1.7.0_67

export SCALA_HOME=/opt/scala-2.11.6

export SPARK_MASTER_IP=192.168.68.84

export SPARK_WORKER_MEMORY=2g

export HADOOP_CONF_DIR=/opt/soft-228238/hadoop-2.6.0/etc/hadoop

注: SPARK_MASTER_IP 为 spark 集群中的主机IP; SPARK_WORKER_MEMORY是worker使用的最大内存

执行: cp  slaves.template  slaves

执行: vi slaves

增加两个slave节点:

192.168.68.84

192.168.68.85

进入: cd /opt/spark-1.4.0-bin-hadoop2.6/sbin

执行:./start-all.sh 

执行: jps  结果如红色方框中的内容说明成功


访问:http://192.168.68.84:8080/



 
 

猜你喜欢

转载自wangmengbk.iteye.com/blog/2220450