Linuxのインストールスパーク

1.ダウンロード

http://archive.apache.org/dist/spark/spark-2.4.1/spark-2.4.1-bin-hadoop2.7.tgz

2、エキス

tar -xvf spark-2.4.1-bin-hadoop2.7.tgz

3、環境変数を設定SPARK_HOME

vimのは/ etc / profileまたはvimの〜/ .bashrcに

#Spark Environment
export SPARK_HOME=$USER_HOME/software/spark-2.4.1-bin-hadoop2.7

ソースは/ etc / profileまたはソース〜/ .bashrcに

4、設定ファイルを変更します

スレーブ構成ファイルのコピー

cp $SPARK_HOME/conf/slaves.template $SPARK_HOME/conf/slaves

vimの$ SPARK_HOME / confに/スレーブ

ホスト名は、localhostへの一時的なデフォルトを変更し、変更されません。

火花のenv設定ファイルを変更するには

cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark-env.sh

vimの$ SPARK_HOME / confに/ spark-env.sh

export USER_HOME=/home/hadoop
export JAVA_HOME=$USER_HOME/software/jdk1.8.0_201 
export SCALA_HOME=$USER_HOME/software/scala-2.12.8 
export SPARK_WORKER_MEMORY=1G 
export HADOOP_HOME=$USER_HOME/software/hadoop-2.7.3 
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 
export SPARK_MASTER_IP=hadoop

5、スパークコミットメント

$SPARK_HOME/sbin/start-all.sh
$SPARK_HOME/sbin/stop-all.sh

SPARKを起動した後、次のURLのコンソールにアクセスして閲覧することができます

http：//のHadoop：8080 /

図6に示すように、スパークシェルコンソールに

$SPARK_HOME/bin/spark-shell
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.1
      /_/
         
Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_201)

開始後に成功した、訪問のhttp：//のHadoop：4040 /仕事/

7、スパークテスト

Hadoopのコマンド

hadoop fs -mkdir -p /usr/hadoop 创建/usr/hadoop文件夹
hadoop fs -ls -R /          列举出根目录/下面的文件和文件夹
hadoop fs -mkdir -p /usr/data/input 创建/usr/hadoop/input文件夹
hadoop fs -put /home/hadoop/aaa.txt /usr/data/input 上传本地文件/home/hadoop/aaa.txt到/usr/data/input目录
hadoop fs -ls -R /

スパークシェルテスト

var test_file = sc.textFile("/usr/data/input/aaa.txt")
test_file.count()
scala> var test_file = sc.textFile("/usr/data/input/aaa.txt")
test_file: org.apache.spark.rdd.RDD[String] = /usr/data/input/aaa.txt MapPartitionsRDD[1] at textFile at <console>:24

scala> test_file.count()
[Stage 0:> (0 + 1) / 1    res0: Long = 5

ビューへの8、Webインターフェイス

http://hadoop:8100/ 默认端口为50070
http://localhost:8100   默认端口为50070
http://localhost:8088/cluster
http://hadoop:8080/
http://hadoop:4040/jobs/

9、コマンドをテスト

$HADOOP_HOME/bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /bbb.txt /out

Linuxのインストールスパーク

おすすめ