関連ソフトウェアのダウンロード リンク:
Xshell:家庭/学校向け無料 - NetSarang ウェブサイト
Xftp:家庭/学校向け無料 - NetSarang ウェブサイト
Xshell および Xftp 公式 Web サイト: XSHELL - NetSarang Website
Jdk: Baidu ネットワーク ディスク、抽出コードを入力してください 抽出コード: jdhp
Hadoop: Baidu ネットワーク ディスク、抽出コードを入力してください 抽出コード: jdhp
適切な仮想マシンと関連環境を構成する必要がある場合は、私の記事をクリックして入手できます: Hadoop ビッグ データ プラットフォーム構築環境は仮想マシン関連の構成を提供します
1. 元の仮想マシンに基づいて 2 つの仮想マシンのクローンを作成します。
(1) 仮想マシンを右クリックし、[管理]、[クローン] の順にクリックし、この手順を 2 回繰り返します。
(2) クローン作成したマシンの IP アドレスが元の仮想マシンの IP アドレスと異なっているかを確認し、異なる場合は変更する必要がありますが、IP アドレスはクローン作成時に自動的に変更されるため、変更する必要はありませんそれを修正します。
2. マシン名の変更
(1) 下図の赤矢印部分に変更後の名前を入力します：stu2
コマンド: vi /etc/ホスト名
(2) 他の 2 つの仮想マシンに対しても同じことを行います。
(3) 3台の仮想マシンを再起動します。
コマンド: 再起動
変更後の 3 つの仮想マシンの名前は、stu、stu2、stu3 になります。
3. ファイアウォールをオフにする
(1) ファイアウォールが閉じられているか確認する
元の仮想マシンのファイアウォールがオフになっているため、他の 2 つのクローンのファイアウォールもオフになります。
4. パスワードなしでログインできるように 3 つのホストを構成する
(1) まず、stu (stu2、stu3) で ssh キーを生成します。
コマンド: ssh-keygen -t rsa
Enter キーを押します。次のプロンプトで Enter キーを押し続けます。内容を入力する必要はありません。
スチュ:
部屋2:
stu3:
次の 2 つの主要なファイルが、ホーム ディレクトリの .ssh ディレクトリに表示されます。
スチュ：
部屋2：
stu3：
(2) stu (stu2、stu3) マシンで、ディレクトリを .ssh ディレクトリに切り替えます。
コマンド: cd ~/.ssh
(3) 新しいauthorized_keysファイルを.sshディレクトリに作成します。
コマンド: touchauthorized_keys
(4) id_rsa.pubファイルの内容をauthorized_keysファイルにコピーします。
コマンド: cat id_rsa.pub >>authorized_keys
(5)authorized_keysファイルの内容を確認する
命令：cat authorized_keys
(6) stu の .ssh ディレクトリにあるauthorized_keys ファイルを stu2 の対応するディレクトリに送信します。
コマンド: scp allowed_keys 192.168.80.129:$PWD
プロンプトの後に「yes」と入力し、Enter キーを押します
次に、パスワードを入力して Enter を押して転送を完了します
(7) stu2 マシンに切り替えて、~/.ssh ディレクトリに入ります。
コマンド: cd ~/.ssh
(8) stu2 の .ssh ディレクトリにある id_rsa.pub ファイルの内容を、authorized_keys ファイルにコピーします。
コマンド: cat id_rsa.pub >>authorized_keys
(9) stu2 の .ssh ディレクトリにあるauthorized_keys ファイルを stu3 の対応するディレクトリに送信します。
コマンド: scp allowed_keys 192.168.80.130:$PWD
プロンプトで「yes」と入力し、Enter キーを押し、パスワードを入力します
(10) stu3 マシンに切り替え、~/.ssh ディレクトリに入ります。
コマンド: cd ~/.ssh
(11) stu3 の .ssh ディレクトリにある id_rsa.pub ファイルの内容を、authorized_keys ファイルにコピーします。
コマンド: cat id_rsa.pub >>authorized_keys
(12) stu3 の .ssh ディレクトリにあるauthorized_keys ファイルを stu1 と stu2 に返します。
コマンド: scp allowed_keys 192.168.80.128:$PWD
scp 認可キー 192.168.80.129:$PWD
(13) 検証（stu上）
コマンド: ssh 192.168.80.130
5. ホスト名と IP アドレス間のマッピングを確立します。
(1) /etc/hosts ファイルを開きます（stu 上）
コマンド: vi /etc/hosts
ファイルに以下を追加します。
192.168.80.128 stu
192.168.80.129 stu2
192.168.80.130 stu3
変更後、ESC キーを押して保存し、終了します。
(2) stu上の/etc/hostsファイルをstu2とstu3にそれぞれ配布します。
コマンド: scp /etc/hosts 192.168.180.129:/etc/
scp /etc/hosts 192.168.180.130:/etc/
(3) 検証、stu 上で stu2 および stu3 に ping
コマンド: ping 192.168.80.129
コマンド: ping 192.168.80.130
6. JDK をインストールします (3 台のマシンすべてに JDK をインストールする必要があります。例として stu を取り上げます。他の 2 つの操作は同じです)。
(1) まずシステムにJDKが付属しているかどうかを確認してください
コマンド: rpm -qa | grep jdk
(2) xftp ソフトウェアを使用して、Linux のユーザーのホーム ディレクトリに jdk をアップロードします。
(3) ルートディレクトリ直下にサーバソフトウェアのサービスディレクトリを作成します。
コマンド: mkdir -p /exports/servers
(4) ホームディレクトリにあるjdkを/exports/serversディレクトリに解凍します。
コマンド: tar -zxvf jdk-11.0.7_linux-x64_bin.tar.gz -C /exports/servers
(5) /exports/serversディレクトリに解凍されたファイルがあるか確認する
コマンド: ls /exports/servers
(6) 環境変数の設定
1) JDKのルートディレクトリをコピーし、ディレクトリをJDKのルートディレクトリに切り替えます
コマンド: cd /exports/servers/jdk-11.0.7/
2) 表示されたパスをコピーします
コマンド: pwd
3) 環境変数設定ファイルを開きます
コマンド: vi /etc/profile
4) ファイルの末尾に以下を追加します。
エクスポート JAVA_HOME=/exports/servers/jdk-11.0.7
エクスポート PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
5) 保存して終了
(6) 設定ファイルを再起動し、環境変数が正しく設定されているかどうかを確認します。
命令：source /etc/profile
コマンド: java -version
(7) stu の /exports ディレクトリの内容をそれぞれ stu2 と stu3 に転送します。
コマンド: scp -r /exports stu2:/
scp -r /エクスポート stu3:/
(8) stu 上の /etc/profile 環境変数設定ファイルをそれぞれ stu2 と stu3 に送信します。
命令：scp /etc/profile stu2:/etc/
scp /etc/profile stu3:/etc/
(9) stu2とstu3でそれぞれsource /etc/profileコマンドを実行します。
(10) stu2 と stu3 の環境変数が正しく設定されているかどうかを確認します。
部屋2：
stu3：
7. Hadoop をインストールします (3 台のマシンすべてに Hadoop をインストールする必要があります。操作は同じです。例として stu 操作を取り上げます)。
(1) 転送ソフトを使用して、hadoop-2.7.2.tar.gzをstuのrootのホームディレクトリにアップロードします。
(2) hadoop-2.7.2.tar.gz を /exports/servers ディレクトリに解凍します。
コマンド: tar -zxvf hadoop-2.7.2.tar.gz -C /exports/servers/
(3) /exports/servers/hadoop-2.7.2 ディレクトリに切り替えます。
コマンド: cd /exports/servers/hadoop-2.7.2
(4) Hadoopのルートディレクトリ下に新しいdataディレクトリを作成します。
コマンド: mkdir データ
(5) Hadoopの設定
etc/hadoop ディレクトリに入ります。
コマンド: cd /exports/servers/hadoop-2.7.2/etc/hadoop/
このディレクトリを順番に変更します: hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、およびスレーブ ファイル:
- 主に JAVA_HOME を構成する hadoop-env.sh ファイルを変更します。
コマンド: vi hadoop-env.sh
- core-site.xmlを変更する
コマンド: vi core-site.xml
- hdfs-site.xmlを変更する
コマンド: vi hdfs-site.xml
- mapred-site.xml ファイルを変更する
- Hadoop には、mapred-site.xml ファイルがありません。mapred-site.xml.template ファイルを mapred-site.xml に変更する必要があります。
コマンド：cpmapred-site.xml.templatemapred-site.xml
mapred-site.xml ファイルを開きます
コマンド: vi mapred-site.xml
- yarn-site.xmlを変更する
コマンド: vi 糸-サイト.xml
- スレーブファイルを設定する
コマンド: vi スレーブ
localhost を削除し、次の内容をファイルに追加します。
スチュ
stu2
stu3
- Hadoop ルート ディレクトリの bin にあるコマンドをシステム PATH に追加します。
コマンド: vi /etc/profile
以下を追加します
最終的なファイルは次のとおりです。
エクスポート HADOOP_HOME=/exports/servers/hadoop-2.7.2
エクスポート PATH=$PATH:$HADOOP_HOME/bin
- ハドゥープを検証する
命令：hadoop version
次のインターフェイスが表示され、hadoop コマンドの環境変数の設定が成功したことがわかります。
- /exports/servers の下の hadoop-2.7.2 ディレクトリの内容を stu2 および stu3 にコピーします。
コマンド：scp -r /exports/servers/ hadoop-2.7.2/ stu2:/exports/servers/
scp -r /exports/servers/ hadoop-2.7.2/ stu3:/exports/servers/
- stu の /etc/profile ファイルを stu2 と stu3 にコピーします。
命令：scp /etc/profile stu2:/etc/
scp /etc/profile stu3:/etc/
stu2 と stu3 でそれぞれコマンドを実行します。source /etc/profile、環境変数がすぐに有効になります。
8. Hadoop クラスターを起動して確認します。
(1) namenodeのフォーマット（stu上で実行）
コマンド: hadoop namenode -format
(2) クラスタの起動(stu上で実行)
ディレクトリを hadoop の sbin ディレクトリに変更します。
コマンド: cd /exports/servers/hadoop-2.7.2/sbin/
コマンドを実行します: ./start-dfs.sh
(3) クラスタが正常に起動していることを確認する
コマンド:jps
スチュ：
部屋2：
stu3：
(4)ブラウザを開き、 「http://192.168.80.128:50070/」と入力します。
