目次
動作位置
ステートメントでは、操作の便宜上、すべてのコンテンツは [/opt] フォルダーの下にあります。
cd /opt圧縮パッケージをアップロードする
Java と Hadoop、バージョン 1.8 と 3.1.3 の 2 つのパッケージが必要です。
ダウンロードリンク:
https://download.csdn.net/download/feng8403000/88074219
/opt にアップロード
解凍してフォルダー名を変更します
解凍コマンド
tar -zxvf jdk-8u212-linux-x64.tar.gz
tar -zxvf hadoop-3.1.3.tar.gz
フォルダ変更コマンド
mv 文件夹名 jdk
mv 文件夹名 hadoop
システム変数の構成を容易にするために、フォルダーの名前が変更されていることがわかります。
パスワード不要の構成
ssh-keygen -t rsa
秘密鍵をこのマシンにコピーします
ssh-copy-id -i root@localhost[はい]と[rootパスワード]の入力が必要です
SSH認証:
ssh 'root@localhost'
パスからわかるように、opt は ~ になります。
Java環境設定とHadoop環境設定
[hadoop3.sh] ファイルなどのスクリプト ファイルを作成し、次のパス構成を追加します
export JAVA_HOME=/opt/jdk
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
スクリプトを実行する
source hadoop3.sh構成の確認
hadoop version
Hadoop構成ファイルを変更する
ここで一つ一つ追加・修正していきます
1.hadoop-env.shを変更する
次のコードをファイルの先頭行に追加するだけです。
export JAVA_HOME=/opt/jdk
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
2.yarn-env.shを変更する
export JAVA_HOME=/opt/jdk
3. core-site.xml を変更します。
設定タグのどこに追加するかについては楽観的です。
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-record/temp</value>
</property>
4. hdfs-site.xmlを変更する
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-record/nameNode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop-record/dataNode</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
5.mapred-site.xmlを変更する
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
6.yarn-site.xmlを変更する
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
ここでは合計 6 つのファイルを変更しました。すべて変更する必要があります。間違わないようにしてください。
Hadoop初期化構成
hdfs namenode -format
ここでしばらく待つ必要があります。
初期化が完了しました。
Hadoopサービスを開始する
start-all.sh
jps
アクセスサービス
アクセス方法は【ip:9870】です。ポート番号は2.7.3の50070とは異なりますので、お間違えのないようにお願いします。
例: 【http://192.168.200.132:9870/】
アクセスがない場合は、ファイアウォールが閉じられていないためです [systemctl stop firewalld]
systemctl stop firewalld閉じた後に結果にアクセスします。
これは、1 台のマシンの構成が完了したことを示しており、その後の 1 台のマスターと 2 台のスレーブの構成もこの方法に基づいており、マスターとスレーブの関係の構成を変更することに他なりません。