目次
7 hadoop313ディレクトリにフォルダデータを作成する
12 ./mapred-site.xml ファイルを編集します
1 つの Hadoop ダウンロード
Hadoop3.1.3のネットワークディスクリソースは以下のとおりです。
リンク: https://pan.baidu.com/s/1a2fyIUABQ0e-M8-T522BjA?pwd=2jqu抽出コード: 2jqu
2 Hadoopを解凍します
Hadoop アーカイブを /opt/soft ディレクトリに解凍します。
tar -zxf ./hadoop-3.1.3.tar.gz -C /opt/soft//opt/soft ディレクトリに解凍されているかどうかを確認します。
ls /opt/soft
3 Hadoop フォルダーの名前を変更します
hadoop-3.1.3/ を hadoop313 に変更します。
mv hadoop-3.1.3/ hadoop3134 Hadoopフォルダーにグループを割り当てる
chown -R root:root ./hadoop313/5 環境変数を変更する
# HADOOP_HOME
export HADOOP_HOME=/opt/soft/hadoop313
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop6 環境変数を更新する
source /etc/profile7 hadoop313ディレクトリにフォルダデータを作成する
mkdir ./data8 ファイルをチェックする
/opt/soft/hadoop313/etc/hadoop パスに以下のファイルがあるか確認してください。
9 ./core-site.xml ファイルを編集します。
vim ./core-site.xml<configuration></configuration> に次の内容を追加します。
ホスト名が一貫しているかどうか、およびドメイン名のマッピングが行われているかどうかに注意してください。
ドメイン名のマッピングは、Linux インストール構成を参照できます。 Oracle+plsql インストール構成 (詳細)_sqlplus インストール_Super Love Slow Blog-CSDN Blog
最初の数ステップ
<property>
<name>fs.defaultFS</name>
<value>hdfs://kb129:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/soft/hadoop313/data</value>
</property>
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131073</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>10 ./hadoop-env.sh ファイルを編集します
コメントされたエクスポート JAVA_HOME を見つけるか、直接書き換えます
JAVA_HOME パスがこの記事と一致しているかどうかに注意してください。
vim ./hadoop-env.shexport JAVA_HOME=/opt/soft/jdk18011 ./hdfs-site.xml ファイルを編集します
vim ./hdfs-site.xml<configuration></configuration> に次の内容を追加します。
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/soft/hadoop313/data/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/soft/hadoop313/data/dfs/data</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>12 ./mapred-site.xml ファイルを編集します
vim ./mapred-site.xml<configuration></configuration> に次の内容を追加します。
ホスト名をメモしてください
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>kb129:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>kb129:19888</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>4096</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>4096</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/had oop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/ share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/op t/soft/hadoop313/share/hadoop/yarn/lib/*</value>
</property>13 ./yarn-site.xml ファイルを編集します
vim ./yarn-site.xml<configuration></configuration> に次の内容を追加します。
ホスト名（ホスト名）が一致しているかどうかに注意してください
<property>
<name>yarn.resourcemanager.connect.retry-interval.ms</name>
<value>20000</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
<property>
<name>yarn.nodemanager.localizer.address</name>
<value>kb129:8040</value>
</property>
<property>
<name>yarn.nodemanager.address</name>
<value>kb129:8050</value>
</property>
<property>
<name>yarn.nodemanager.webapp.address</name>
<value>kb129:8042</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/opt/soft/hadoop313/yarndata/yarn</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/opt/soft/hadoop313/yarndata/log</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>14 ./workers ファイルを編集します
vim ./workers内部のコンテンツをホスト名 (ホスト名) に置き換えます。
のように：
kb129
15 初期化
hadoop namenode -format次の内容が表示されれば、初期化が成功したことを意味します
16 パスワード不要のログインを構成する
ホームディレクトリに戻る
ssh-keygen -t rsa -P ""入力してから入力してください
次の画面が表示されます
.ssh ファイルがあるかどうかを確認する
ll -a
パスワード不要のログインを構成する
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keysパスワードなしのログインをテストします (ssh 自体に接続します)
ssh -p 22 root@kb159パスワードを入力する必要がなければ、設定は成功しています。
最初の接続には、「はい」または「いいえ」を入力するオプションがあります。
将来的には、接続にこのようなプロンプトは表示されなくなり、接続は直接成功するようになります。
接続が成功したら、マシンに戻り、「exit」と入力して Enter キーを押します。
2 つの異なる仮想マシンであり、SSH を使用して接続したい場合は、2 つの仮想マシンのそれぞれで次のコマンドを実行する必要があります。
(ここでのホスト名は別の仮想マシンです)
ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 root@kb12817 Hadoopの起動とシャットダウン
Hadoopを開始する
start-all.sh シャットダウンHadoop
stop-all.sh 18 テスト Hadoop
「jps」と入力すると以下の6つのメッセージが表示されます
ブラウザに URL http://192.168.153.129:9870/ を入力すると、ページが表示されます (自分の IP アドレスを置き換えるよう注意してください)
またはHadoopのバージョンを確認してください
hadoop version