ネットワーク:ネットワークがある:192.168.80.0、ゲートウェイ192.168.80.2、255.255.255.0をマスク、およびドメイン名202.196.32.1。
H adoopプラットフォーム計画:インストールの最小と3の64ビットCentOS7 Linuxホスト・システム、。ユーザーはマスターが、slaver1が192.168.80.6で、192.168.80.7などslaver2 192.168.80.5で、Hadoopのです。
まず、ホストマスターの設定
1。インストールを最小限に抑えるために選択したインストールCentOSの7は、他にはデフォルトで使用することができます。
2。VI / etc / sysconfig / network-scriptsに/のifcfg-ens33:(ルート)は、静的IP(... * * * 5)アドレスを提供しています
オープニングネットワーク:ifupをens33
3.パテは、ホストに接続されています。
(ルート)アカウントの追加アカウントのHadoop:useraddのHadoopの、passwdのHadoopの
(ルート) hostnamectl SET-ホスト名のマスターは//ホスト名のマスターを変更します。
幹部のbash //メイク変更はすぐにホスト名を反映します
VIの/ etc / hosts //は3と3つのIPホスト名との対応を追加します。ここではすべて一緒に、他の二つのマシンをコピーした後まで追加する必要はありません。
4。(ルート)閉じSELinuxのとfirewalld:
SELinuxを実行しているダウンsetenforce 0 //シャット
V I の/ etc /のsysconfig / selinuxを //再起動selinuxを再び実行されません
STOP firewalld systemctl //ストップファイアウォール
無効firewalldのsystemctl //が自動的に起動起動しないファイアウォールを設定します
5。(ルート)YUM修飾ソースUSTC源。
/etc/yum.repos.d CDは 作業ディレクトリを切り替える//
MV CentOSのCentOSのBase.repo Base.repo.bak
CentOSの-Base.repo VI //参照の内容を追加し、新しいファイルを作成します。https://lug.ustc.edu.cn/wiki/mirrors/help/centos
yum makecache //更新yum
yumをrsyncのインストール
yumをvimのインストール
yumをwgetのインストール
6.(ルート)は、Javaランタイム環境をインストールします。
1)JDKをダウンロードし、アカウントを登録するには、公式のネットワークの必要性、ダウンロードダウンロードした後に取得:wgetのhttps://download.oracle.com/otn/java/jdk/8u211-b12/478a62b7d4e34b78b671c754eaaf38ab/jdk-8u211-linux-x64を。 tar.gz形式?AuthParam = 1559117532_f52bb505fc34d78fff04ffb70d990331
2)タール- あるxv jdk.tar.gz
3)のvim / etc / profileを、3行を追加します
輸出JAVA_HOME =は/ opt / jdk1.8.0_211
輸出CLASSPATH =。$ JAVA_HOME / libに
エクスポートパスは$ PATHを=:$ JAVA_HOME / binに
元の/ etc / P R&LT OFILE、入力のJava -version、試験。
7。他の二つのシステム、(ルート)をコピー(*。*。*。7)はそれぞれ、ホスト名とslaver2を変更し、IPアドレスを設定する(*。*。*。6)とslaver1されています。
手順2と3を参照してください。設定後は、ネットワークの再起動:ifdownをens33を、ifupをens33
ピング・マスタを使用して、3つのホスト間8.テストTonglian接続;ピングslaver1;ピングslaver2
第二に、コンフィギュレーション・フリー密集ログイン
1.実行のssh-keygenのそれぞれは、3つのホスト上でHadoopのアカウントを使用しました。
2. slaver1は、マスタにアップロードされた公開鍵を生成しました。
SCP id_rsa.pubのHadoop @マスター:/home/hadoop/.ssh/slaver1.pub
3. slaver2は、マスタにアップロードする公開鍵を生成しました。
SCP id_rsa.pub のHadoop @マスター:/home/hadoop/.ssh/slaver 2 .PUB
一緒にマスター、slaver1、slaver2公開鍵をマスター4.:
猫id_rsa.pubよだれ1 .PUB slaver2.pub> authorized_keysに
5. chmodの600件のauthorized_keys // 600へのファイルのパーミッションを変更
6.それぞれの位置とslaver2 slaver1ホストへのファイルアップロード。
SCPのauthorized_keys のHadoop @よだれ1 :/home/hadoop/.ssh/のauthorized_keys
SCPのauthorized_keys のHadoop @ slaver2 :/home/hadoop/.ssh/のauthorized_keys
7.(ルート)VIMの/ etc / SSH / sshd_configの
PubkeyAuthentication yesは フロント#から削除します
適切な位置とslaver2 slaver1ホストにコンフィギュレーションファイルをアップロードする8(ルート)。
scpコマンドは、/ etc / ssh / sshd_config ルート@ slaver1 :/ など/ SSH / sshd_configに
scpコマンドは、/ etc / ssh / sshd_config ルート@ slaver2 :/ など/ SSH / sshd_configに
9。3再起動sshdサービスホスト
systemctl再起動SSHD
10. Hadoopのアカウントのテスト3つのホスト、任意の二つの密フリーログインが(私を含め)が正常です。
sshのマスター;のssh slaver1、SSH slaver2
第三には、configureのHadoopプラットフォームは、マスターホスト上でのHadoopユーザーの設定を使用して、後から設定されている他の二つのホストに広がりました。
1. [/ホーム/ Hadoopの:wgetの http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz // Hadoopのソフトウェアダウンロードパッケージ
2. タール-xvf Hadoopの-2.9.2.tar.gz
3.(ルート)の設定環境変数:VIMは/ etc / profile
輸出HADOOP_HOME = /ホーム/ Hadoopの/ Hadoopの-2.9.2
エクスポートパスは$ PATHを=:$ HADOOP_HOME / sbinに:$ HADOOP_HOME / binに
以下の操作は、Hadoopのアカウントです。
4.(Hadoopの)CDのHadoop-2.9.2; ます。mkdir hdptmp //のHadoop-2.9.2 hdptmpにディレクトリを作成します
MKDIR - P DFS /名;ます。mkdir - p個のDFS /データ
5. 設定hadoop-env.sh。
CDの Hadoopの-2.9.2の/ etc / Hadoopの、vimのhadoop-env.sh。
輸出JAVA_HOME =は/ opt / jdk1.8.0_211
輸出HADOOP_CONF_DIR = /ホーム/ Hadoopの/ Hadoopの-2.9.2の/ etc / Hadoopの
ソースhadoop-env.sh
6. 配置core-site.xml
CDの Hadoopの-2.9.2の/ etc / Hadoopの、vimのコア-site.xmlに。
で<構成> < / 構成>は、中間ノードを添加しました。
<プロパティ>
<名前> hadoop.tmp.dir </名前>
<値> /home/hadoop/hadoop-2.9.2/hdptmp </ value>の
</プロパティ>
<プロパティ>
<名前> fs.defaultFS </名前>
<値> HDFS://マスター:9000 </ value>の
</プロパティ>
7.設定のHDFS-site.xmlの
CDの Hadoopの-2.9.2の/ etc / Hadoopの、vimのHDFS-site.xmlの。
で<構成> < / 構成>は、中間ノードを添加しました。
<プロパティ>
<名前> dfs.namenode.name.dir </名前>
<値> /home/hadoop/hadoop-2.9.2/dfs/name </ value>の
</プロパティ>
<プロパティ>
<名前> dfs.datanode.data.dir </名前>
<値> /home/hadoop/hadoop-2.9.2/dfs/data </ value>の
</プロパティ>
<プロパティ>
<名前> dfs.replication </名前>
<値> 2 </値>
</プロパティ>
8.配置mapred-site.xml.
CDの Hadoopの-2.9.2の/ etc / Hadoopの。 CP mapred-site.xml.template mapred-site.xmlに、VIM mapred-site.xmlに。
で<構成> < / 構成>は、中間ノードを添加しました。
<プロパティ>
<名前> mapreduce.framework.name </名前>
<値>糸</値>
</プロパティ>
9.配置yarn-site.xml
CDの Hadoopの-2.9.2の/ etc / Hadoopの、vimの糸-site.xml 。
で<構成> < / 構成>は、中間ノードを添加しました。
<プロパティ>
<名前> yarn.resouremanager.hostname </名前>
<値>マスター</ value>の
</プロパティ>
<プロパティ>
<名前> yarn.nodemanager.aux-サービス</名前>
<値> mapreduce_shuffle </ value>の
</プロパティ>
<プロパティ>
<名前> yarn.resourcemanager.address </名前>
<値>マスター:8032 </ value>の
</プロパティ>
<プロパティ>
<名前> yarn.resourcemanager.scheduler.address </名前>
<値>マスター:8030 </ value>の
</プロパティ>
<プロパティ>
<名前> yarn.resourcemanager.resource-tracker.address </名前>
<値>マスター:8031 </ value>の
</プロパティ>
10.コンフィギュレーションよだれ、CD のHadoop-2.9.2の/ etc / Hadoopの、Vimの奴隷商人、ホスト名を追加します。
slaver1
slaver2
11.他の二つのマシンへのマスターのHadoop関連ファイルの設定。
SCP -rのHadoop-2.9.2のHadoop @ slaver1:/ホーム/ Hadoopの/
SCP -rのHadoop-2.9.2のHadoop @ slaver2:/ホーム/ Hadoopの/
12. [スタート]
では、M /ホーム/ Hadoopの/ Hadoopの-2。入力から自動的に起動しますアスター・サーバ・ノードをHadoopを開始。9 。2 目次
(1)初期化コマンド入力、ビン/ HDFS名前ノード -format
(2)すべての開始sbinに/ start-all.sh
(3)は、入力されたコマンドを停止し、sbinに/ stop-all.sh
(4)JPS入力コマンド。それが成功した場合、:マスターマシンは4つのプロセスである必要があり、マシンはslaver1とslaver2三つのプロセスでなければなりません。
13、Webアクセス
(1 オープンに)ブラウザHTTP://192.168。8 0。5 :8088 / Hadoopの管理
(2 )ブラウザが開きますHTTP://192.168。8 0 5 :50070 / HDF Sのファイルシステム管理
第四に、テストプログラム
1. HDFSは、DFS /テストを-mkdir 、 HDFSは、DFSを-ls / 分散ファイルシステム内のディレクトリのテストを作成します
2.touch言葉は、ローカルファイルを作成するだけでいくつかの単語をスペースで区切って入力します。
3. DFS -put HDFSの言葉は/テストは 単語の分散ファイルシステムにファイルをアップロード
4. /home/hadoop/hadoop-2.9.2/ ビン/ Hadoopのジャー/home/hadoop/hadoop-2.9.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar WORDCOUNT /テスト/言葉/テスト/出力
それとも私の位置または任意の位置あなたのHadoop
/usr/local/hadoop-2.8.2/bin/hadoop瓶/usr/local/hadoop-2.8.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.2.jar WORDCOUNT /テスト/言葉/テスト/出力
5.レビュー結果:
ビン/ HDFS DFS -cat /試験/出力/部分-R-00000