sparkcore、sparksql、sparkstreaming、mllibを備えた大規模なデータ火花アセンブリの新世代は、HDFS、HBaseの、ハイブと相互作用することができるように実際の生産のように、大きな役割をgraphx、とあります。この記事では、中CentOS7で火花をインストールする方法について説明します。
1つのシステム、ソフトウェア、および前提制約
- CentOSの7マシンのIPの64台のワークステーションは192.168.100.200、ホスト名danjiで、読者は自分の実際の状況に応じて設定されています
- Hadoopのがインストールされ、開始されています
https://www.jianshu.com/p/b7ae3b51e559 - -bin-2.2.1-スパークhadoop2.7、Scalaの-2.12.2
スパークとScalaのダウンロードリンク：https://pan.baidu.com/s/1c_skDYabCRSkS5hRUB6lFQ
抽出コード：A00t
スパーク-2.2.1-binに-hadoop2。 7.tgzは、下の/ rootディレクトリ192.168.100.200にアップロードされて
Scalaの-2.12.2.tgz 192.168.100.200の下で/ rootディレクトリにアップロードされて - 操作の影響を除去するための許可は、すべての操作をルートするために行われています
2操作
- 1. 192.168.100.200 xshellにrootでログインします
- 2.エキス
# 进入家目录
cd
# 解压spark
tar -xvf spark-2.2.1-bin-hadoop2.7.tgz
# 解压scala
tar -xvf scala-2.12.2.tgz
- 3.環境変数の設定
# 进入家目录
cd
# 修改 .bashrc，保存，退出
export JAVA_HOME=/root/jdk1.8.0_152
export SCALA_HOME=/root/scala-2.12.2
export SPARK_HOME=/root/spark-2.2.1-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$SCALA_HOME/bin:$JAVA_HOME/bin:$PATH
# 使生效
source .bashrc
- 4. [変更spark-env.sh
# 进入spark配置目录
cd /root/spark-2.2.1-bin-hadoop2.7/conf
# 拷贝spark-env.sh
cp spark-env.sh.template spark-env.sh
#修改spark-env.sh，保存，退出
export JAVA_HOME=/root/jdk1.8.0_152
export SPARK_HOME=/root/spark-2.2.1-bin-hadoop2.7
export SPARK_MASTER_IP=danji
export SPARK_EXECUTOR_MEMORY=1G
export SCALA_HOME=/root/scala-2.12.2
export HADOOP_HOME=/root/hadoop-2.5.2
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
-
- 火花を開始
# 进入spark的启动目录
cd /root/spark-2.2.1-bin-hadoop2.7/sbin
# 启动
./start-all.sh
-
- 検証
# 查看当前进程
jps
# 结果如下就说明启动成功，其中Master，Worker就是spark的进程，其他的是Hadoop的进程。
10193 NameNode
10515 SecondaryNameNode
10310 DataNode
11447 Worker
11369 Master
10798 NodeManager
15790 Jps
10687 ResourceManager
上記はCentOS7それらの中に、インストールプロセスの火花です。
ます。https：//www.jianshu.com/p/8384ab76e8d4で再現