1.JDKをインストールする
1. 圧縮パッケージを格納し、解凍するためのフォルダー tools と training を作成します tools には圧縮パッケージが格納され、 training は解凍後の jdk と hadoop のパスをインストールするために使用されます。
1) パス / のある場所に戻ります
cd /
2) ツールとトレーニングの作成
mkdir tools
mkdir training
3) ツールフォルダーに入ります
cd tools
4) 左側の mobaxterm をクリックして /tools フォルダーに入り、全員に送信します圧縮パッケージをマウスでドラッグするだけです。ドラッグするのは tar.gz 圧縮パッケージです。コンピュータで解凍しないでください。、アップロード後の図に示すように、ドラッグすると進行状況バーが表示されます。
2.JDK解凍
1) コンソールで次のコマンドを入力し、ファイルをトレーニング フォルダーに抽出します。図に示すように、パスはツール内にあります。進行状況バーが多数表示されます。停止するまで待ち、次のステップに進みます。ステップ。
tar -zvxf jdk-8u144-linux-x64.tar.gz -C /training/
2) mobaxterm の左側を確認し、トレーニングに入るフォルダをクリックして解凍状況を確認し、このフォルダがあれば解凍成功です。
3.JDKのインストール
1) コンソールにこのコマンドを入力し、Enter キーを押して続行します。環境構成
vi ~/.bash_profile
2) ファイルを入力した後は、編集できない読み取り状態になります。キーボードの上下左右キーを使用して、青色のエクスポート PATH の H にカーソルを移動し、コンピューターの i キーボードを押して編集モードに入り、右ボタンを押してファイルの最後尾に移動します。 「H」を入力し、Enter を 2 回押して次のステップに進みます。。
3) この設定をファイルに追加し、直接コピーして貼り付けます。Java のバージョンが私のものではなく、私のバージョンと異なる場合は、図に示すように、設定内のバージョン番号 144 をご自身で変更してください。
#java
export JAVA_HOME=/training/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
4) esc キーを押して編集モードを終了します。
5) コロン wq を入力し、Enter キーを押します。コピーできません。キーボードで直接入力します。この操作は、ファイルを保存して終了します。w は保存を意味し、q は終了を意味します。行きません。後で詳しく説明します。忘れた場合は、戻って読んでください。よろしければ、間違って保存して終了したくない場合は、wq! を使用して保存せずに終了してください。
:wq
6) 環境変数を変更したら、それを有効にする必要があるので、環境変数を有効にするコマンドを入力します。
source ~/.bash_profile
7) このコマンドを入力して Java がインストールされているかどうかを確認し、対応するバージョン情報がポップアップ表示されれば、Java は正常にインストールされています。
java -version
2.Hadoopをインストールする
1. Centos ファイアウォールをオフにします。オフにしないと、後で Hadoop リモート接続に影響します。
systemctl stop firewalld.service
systemctl disable firewalld.service
2. 以降のファイルは変更せずに直接コピペできるよう、ホスト名を私と同じniitに変更します 変更後はすぐには表示されませんので、mobaxtermを閉じて再接続してください。
hostnamectl --static set-hostname niit
3. マッピング関係の構成
1) centos のホストマッピングファイルを入力します
vi /etc/hosts
2) IP 番号とスペースのホスト名を追加します。
(IP は人それぞれ異なりますので、自分の IP を使用してください)
追加方法の詳細については、上記の環境変数ファイルの詳細な変更と保存の操作を参照してください。
192.168.163.137 niit
3): 保存して終了します
:wq
4. 別のマッピング ファイルを構成する
1) ファイルを入力します
vi /etc/sysconfig/network
2) このファイルにホスト名を追加します
niit
3) :wq 保存して終了
:wq
5. /tools フォルダーに入ります
cd /tools
6. Hadoop 圧縮パッケージをトレーニング フォルダーに解凍します。
tar -zvxf /tools/hadoop-3.3.0.tar.gz -C /training/
7. Hadoop環境の構築
1) 環境変数設定ファイルを再度入力します
vi ~/.bash_profile
2) 以下の設定を追加します。前の Java には触れず、最後に新しい行に追加するだけです。
#hadoop
export HADOOP_HOME=/training/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
3): 保存して終了します
4) 環境変数を検証する
source ~/.bash_profile
5) hdfs と入力して、hadoop が正常にインストールされたかどうかを確認し、これらが出ればインストール成功です 次に、hadoop の設定ファイルを設定します。
hdfs
3. Hadoop パスワード不要のログイン構成
1. パスワード不要のログインデータ保存ファイルを作成する
1) 構成データを保存するために、Hadoop インストール パスに tmp フォルダーを作成します。
mkdir /training/hadoop-3.3.0/tmp
2. パスワード不要の設定
1) パスワードなしで Hadoop SSH を構成する
a .次のコードを入力します。4回入力してください，何も入力しないでください，素早く4回入力, すると、パスワードのグラフィックが表示されますが、これは人によって異なります。私の写真を見る必要はなく、グラフィックだけを持っていてください。
ssh-keygen -t rsa
b .次のコマンドを入力します。
cd ~/.ssh/
c .次のコマンドを入力します (niit はホスト名です。私と異なる場合は変更する必要があります)。
図に示すように
ssh-copy-id -i id_rsa.pub root@niit
4. Hadoop5の設定ファイルの設定
1. Hadoop 構成ファイルのアドレスを入力します。
cd /training/hadoop-3.3.0/etc/hadoop/
2. 最初の構成ファイル: hadoop-env.sh、jdk のセットアップに使用されます。
1) コマンドを入力して編集に入ります
vi hadoop-env.sh
2) 入力後はこんな感じ
3) マウスを下にスライドして検索します。
4) 編集モードに入り、この内容をこの行の 1 行下に追加します
export JAVA_HOME=/training/jdk1.8.0_144
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
5):wq を保存して終了
3. 2 番目の構成ファイル: hdfs-site.xml。権限とデータ ブロックのバックアップ数を設定するために使用されます。
1) ファイルを入力します
vi hdfs-site.xml
2) 次のようになり、2 つの構成の間に構成を追加します。
3) 編集モードに入り、コンテンツを追加します
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
4): 保存して終了します
4. 3 番目の構成ファイル: core-site.xml は、メイン ノードと一時フォルダーの設定に使用されます。
1) ファイルを入力します
vi core-site.xml
2) このようになります。設定の途中に追加します
3) コンテンツを追加します。niit はホスト名です。異なる場合は必ず変更してください。8020 は変更しないでください。
<property>
<name>fs.defaultFS</name>
<value>hdfs://niit:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/training/hadoop-3.3.0/tmp</value>
</property>
4): 保存して終了します
5. 4 番目の構成ファイル:mapred-site.xml。mapreduce オペレーティング環境の設定に使用されます。
1) ファイルを入力します
vi mapred-site.xml
2) このようになります。設定の途中に追加します
3) コンテンツを追加する
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
6. 5 番目の設定ファイル:yarn-site.xml、糸の設定に使用されます。
1) ファイルを入力します
vi yarn-site.xml
2) このように長さを入力し、矢印の部分に追加します
3) コンテンツを追加する
<property>
<name>yarn.resourcemanager.hostname</name>
<value>niit</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
4): 保存して終了します
5. Hadoop形式のマスターノード
hdfs namenode -format
#注: フォーマットが成功すると、次の情報が表示されます。
common.Storage: ストレージ ディレクトリ /training/hadoop-3.3.0/tmp/dfs/name は正常にフォーマットされました。
6. Hadoopの起動とシャットダウン
1.Hadoopを起動する
1) 起動コマンド
start-all.sh
2) プロセスが正常に開始されたかどうかを確認します
jps
成功すると5つのプロセスと1つのjpsプロセスが存在します。
5 つの Hadoop プロセスが正常に表示されたら、成功おめでとうございます。プロセスが欠落している限り、上記のすべての手順に軽微な問題が発生していることを意味します。最初からもう一度確認してください。
2.Hadoopを閉じる
stop-all.sh
