VM + CentOSの+ Hadoopの+スパーククラスタのセットアップ

JDK SCALA

アンインストールJDK

ます。rpm -qa | grepのJDK

rpmの-e --nodepsのjava-1.7.0-OpenJDKの-1.7.0.221-2.6.18.1.el7.x86_64

rpmの-e --nodepsのjava-1.7.0-OpenJDKの-ヘッドレス-1.7.0.221-2.6.18.1.el7.x86_64

rpmの-e --nodepsのjava-1.8.0-OpenJDKの-1.8.0.222.b03-1.el7.x86_64

rpmの-e --nodepsのjava-1.8.0-OpenJDKの-ヘッドレス-1.8.0.222.b03-1.el7.x86_64

減圧

タール-zxvf JDK-8u231-linuxの-x64.tar.gz

タール-zxvfのscala-2.11.8.tgz

環境変数

vimのは/ etc / profile

プラス

輸出JAVA_HOME = /ホーム/ Z /アプリ/ jdk1.8.0_231

輸出CLASSPATH =。$ JAVA_HOME / libに/ dt.jar：$ JAVA_HOME / libに/ tools.jarを

輸出PATH = $ JAVA_HOME / binに：$ PATHに

輸出SCALA_HOME = /ホーム/ Z /アプリ/スケール2.11.8

輸出PATH = $ PATH：$のSCALA_HOME / binに

遂に

ソースは/ etc / profile

静的IP

vimの/ etc / sysconfig / network-scriptsに/のifcfg-ens33

変更

BOOTPROTO =静的

ONBOOT = yesの

プラス（仮想ネットワークエディタを参照してください、IPADDRは、機械の設定IPを）

IPADDR = 192.168.179.1

NETMAST = 255.255.255.0

GATEWAY = 192.168.179.2

DNS1 = 8.8.8.8

DNS 2 = 8.8.8.4

遂に

サービスネットワークの再起動

ファイアウォールをオフにします

systemctlストップfirewalld.service

systemctl無効firewalld.service

閉じるのselinux

vimのは/ etc / selinuxを/ configに

前記のselinux =施行に無効

修正ホスト

vimの/ etc / hostsファイル

プラス（静的およびセットのIP 契約）

192.168.179.1マスター

192.168.179.3 SLAVE1

192.168.179.4スレーブ2

sshのフリー密ログイン

マスターに

SSH-keygenは-t rsaの

入力されたに.ssh フォルダを

CDのの.ssh

コピー

猫id_rsa.pub >> authorized_keysに

authorized_keys にコピースレーブノード

SCPのauthorized_keysスレーブ1：の〜/ .ssh /

scp authorized_keys slave2:~/.ssh/

slave节点分别执行

ssh-keygen -t rsa

三个节点chmod 600 authorized_keys

测试免密

ssh slave1

ssh slave2

Hadoop

解压

tar -zxvf hadoop-2.7.2.tar.gz

环境变量

export HADOOP_HOME=/home/z/app/hadoop-2.7.2

export PATH=$HADOOP_HOME/bin:$PATH

source /etc/profile

配置hadoop-env.sh

vim hadoop-2.7.2/etc/hadoop/hadoop-env.sh

JAVA_HOME=/home/z/app/jdk1.8.0_231

配置yarn-env.sh

vim hadoop-2.7.2/etc/hadoop/yarn-env.sh

export JAVA_HOME=/home/z/app/jdk1.8.0_231

以下四个要修改的XML文件最后不要有空行或空格！！！

修改core-site.xml文件

vim hadoop-2.7.2/etc/hadoop/core-site.xml

替换

<name>hadoop.tmp.dir</name>

<value>/hadoop/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<name>io.file.buffer.size</name>

</property>

</configuration>

创建子目录

mkdir -p hadoop-2.7.2/etc/hadoop/tmp

mkdir -p hadoop-2.7.2/etc/hadoop/hdfs/name

mkdir -p hadoop-2.7.2/etc/hadoop/hdfs/data

配置hdfs-site.xml

vim hadoop-2.7.2/etc/hadoop/hdfs-site.xml

替换

<name>dfs.namenode.name.dir</name>

<value>file:/hadoop/hdfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>file:/hadoop/hdfs/data</value>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.namenode.secondary.http-address</name>

<value>master:9001</value>

</property>

<name>dfs.webhdfs.enabled</name>

</property>

</configuration>

复制并修改

cd hadoop-2.7.2/etc/hadoop/

cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

替换

<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.jobtracker.http.address</name>

<value>master:50030</value>

</property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

<name>mapred.job.tracker</name>

<value>http://master:9001</value>

</property>

</configuration>

修改yarn-site.xml

vim yarn-site.xml

替换

<name>yarn.resourcemanager.hostname</name>

<value>master</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8031</value>

</property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

</configuration>

配置masters、slaves文件

vim slaves

替换

slave1

slave2

vim masters

替换

master

master执行格式化

hadoop-2.7.2/bin/hadoop namenode -format

master执行启动hadoop

hadoop-2.7.2/sbin/start-all.sh

启动单个

hadoop-2.7.2/sbin/start-yarn.sh

hadoop-2.7.2/sbin/start-hdfs.sh

SPARK

tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz

环境变量

vim /etc/profile

export SPARK_HOME=/home/z/app/spark-2.4.4-bin-hadoop2.7

export PATH=PATH:SPARK_HOME/bin

source /etc/profile

验证

spark-shell

配置

cd spark-2.4.4-bin-hadoop2.7/conf

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

追加

export SCALA_HOME=/home/z/app/jdk1.8.0_231

export JAVA_HOME=/home/z/app/jdk1.8.0_231

export HADOOP_HOME=/home/z/app/hadoop-2.7.2

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export SPARK_HOME=/home/z/app/spark-2.4.4-bin-hadoop2.7

export SPARK_MASTER_IP=master

export SPARK_EXECUTOR_MEMORY=1G

cp slaves.template slaves

vim slave

改为

master

slave1

slave2

复制到slave里

scp -r spark-2.4.4-bin-hadoop2.7 root@slave1:/home/z/app/

启动spark

hadoop-2.7.2/sbin/start-all.sh

spark-2.4.4-bin-hadoop2.7/sbin/start-all.sh

查看spark集群(masterIP)

http://192.168.179.1:8080/

修改了/etc/profile文件后命令失效

执行命令export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin后可以暂时恢复，修改/etc/profile中的错误

设置共享文件夹

安装vmtools 设置里面设置共享，重启，文件夹在/mnt/hgfs/下

VM + CentOSの+ Hadoopの+スパーククラスタのセットアップ

おすすめ