1.仮想マシンをコピーして、5つのセットを行います。
1:名前ノード
2:secondardNameNode、このResourceManager
3,4,5:データノード
図2に示すように、修飾されたカードの設定、接続のSecureCRT
ユーザー---------- ---------ルート----
3、日付の表示時間
4、ブーツにntpdate
chkconfigを--list
chkconfigを--level 12345にntpdateで
5、ntpdateを時刻同期
サービスにntpdateの再起動
6、JAVA_HOMEを参照してください
エコー$ JAVA_HOME
-rw-rを - r--の。2ルートルート158 2010年1月12日のホスト
-rw-rを - r--の。1ルートルート1796 2013年10月2日のプロフィール
図8に示すように、マシンのドメインの各構成
[ルート@ zengmgなど]#viのは/ etc / sysconfig / networkファイル
NETWORKING = yesの
HOSTNAME = hadoop1
図9に示すように、各構成hostsファイル
コマンドを送信するためにマルチウィンドウ
VIの/ etc / hosts
192.168.18.131 hadoop1
192.168.18.132 hadoop2
192.168.18.133 hadoop3
192.168.18.134 hadoop4
192.168.18.135 hadoop5
クラスタが行う方法の数十を持っている場合、//、シェルスクリプトを記述するために?
10、ファイアウォールをオフにします
chkconfigをオフiptablesの
サービスのiptablesの停止
11、Hadoopのユーザーとパスワードを作成
adduserののHadoopの
passwdのHadoopの
12、ユーザプロファイルのルートグループのHadoop
viのは/ etc / sudoersファイル
##根はどこにでも任意のコマンドの実行を許可します
ルートALL =(ALL)ALL
ここに追加します。
HadoopのALL =(ALL)ALL
--------------- Hadoopの----ユーザー-----------------------------
1、SSHパスワード無料
hadoop1は名前ノードです。パスワードなしのsshをすることなく、お互いにそれぞれのマシン。限り、他のマシンに近いアクセスを避けることができるhadoop1として
hadoop1機械:
SSH-keygenは-t rsaの
SSH-コピー-IDのhadoop1
SSH-コピー-IDのhadoop2
SSH-コピー-IDのhadoop3
SSH-コピー-IDのhadoop4
SSH-コピー-IDのhadoop5
hadoop2機械:
SSH-keygenは-t rsaの
SSH-コピー-IDのhadoop2
SSH-コピー-IDのhadoop3
SSH-コピー-IDのhadoop4
SSH-コピー-IDのhadoop5
秘密のsshログインはHadoopのユーザーは無料です。rootユーザーが設定されていない、お互いの秘密のログインを避けることができません。無料ユーザーの秘密は効果的にsshです
1、JDKおよびアップロードのHadoop
2、アプリケーションフォルダ建てのホームディレクトリのHadoopインチ (ルートディレクトリ)で/新無権限、rootのみが作成できます。
[Hadoopの@ hadoop1 /] $ます。mkdirアプリケーション
MKDIR:ディレクトリ `アプリケーション 'を作成できません:アクセスが拒否されました
3、抽出Hadoopの、アプリケーションフォルダにJDKアーカイブ
-Cアプリケーションtar圧縮-zxvf
4、設定JDK、Hadoopの環境変数
[Hadoopの@ hadoop1など] $ sudoのviのは/ etc / profile
輸出JAVA_HOME = /ホーム/ Hadoopの/アプリケーション/ jdk1.8.0_73
輸出HADOOP_HOME = /ホーム/ Hadoopの/アプリケーション/ Hadoopの-2.7.3
エクスポートパスは$ PATHを=:$ JAVA_HOME / binに:$ HADOOP_HOME / binに/:$ HADOOP_HOME / sbinに
5、変数の設定を有効にします
ソースは/ etc / profile
6、Hadoopの構成プロファイル
1)、hadoop-env.shシェル構成ファイルJAVAHOME
#使用するJava実装。
輸出JAVA_HOME = /ホーム/ Hadoopの/アプリケーション/ jdk1.8.0_73
なぜあなたは設定したいですか?
何らかの理由で、私は読んでいません
[Hadoopの@ BD01 sbinに] $ start-dfs.sh
[BD01]で起動するnamenodes
BD01:エラー:JAVA_HOMEが設定されていないと見つかりませんでした。
BD05:エラー:JAVA_HOMEが設定されていないと見つかりませんでした。
BD04:エラー:JAVA_HOMEが設定されていないと見つかりませんでした。
BD03:エラー:JAVA_HOMEが設定されていないと見つかりませんでした。
2)、コアsite.xmlの名前ノード構成ファイルアクセスアドレスとデータ・ストレージ・パス名前ノード
<プロパティ>
<名前> fs.defaultFS </名前>
<値> HDFS:// hadoop1:9000 </ value>の
</プロパティ>
<プロパティ>
<名前> hadoop.tmp.dir </名前>
<値> /ホーム/ Hadoopの/ hadoop_data </ value>の
</プロパティ>
------以下の構成は、ハイブ真っすぐ設定を訪問することです -
コアのsite.xmlの割り当てを増やすのHadoop
<プロパティ>
<名前> hadoop.proxyuser.root.groups </名前>
<値> Hadoopの</ value>の
</プロパティ>
//もし<値> * </ value>はそのすべてのユーザーであります
<プロパティ>
<名前> hadoop.proxyuser.root.hosts </名前>
<値> * </ value>の
</プロパティ>
//ここでは、すべての代理アクセスを許可するIP構成されました。そうでない場合には、IPアドレスを設定
3)、HDFS-site.xmlのコンフィギュレーションデータファイルのコピー数は設定可能でないかもしれません。デフォルトは3であるため、
また、この文書のconfigure SecondaryNameNode
<プロパティ>
<名前> dfs.replication </名前>
<値> 3 </値>
</プロパティ>
<プロパティ>
<名前> dfs.namenode.secondary.httpアドレス</名前>
<値> hadoop2:50090 </ value>の
</プロパティ>
<プロパティ>
<名前> dfs.namenode.secondary.httpsアドレス</名前>
<値> hadoop2:50091 </ value>の
</プロパティ>
4)、地図-site.xmlのプラットフォーム上でMR糸の実行を指定し、配置されているのResourceManager
MV mapred-site.xml.template mapred-site.xmlに
<プロパティ>
<名前> mapreduce.framework.name </名前>
<値>糸</値>
</プロパティ>
5)、糸site.xmlの指定糸ボス(のResourceManager)アドレス、減速データ取得モード
<プロパティ>
<名前> yarn.resourcemanager.hostname </名前>
<値> hadoop2 </ value>の
</プロパティ>
<プロパティ>
<名前> yarn.nodemanager.aux-サービス</名前>
<値> mapreduce_shuffle </ value>の
</プロパティ>
<プロパティ>
<名前> yarn.resourcemanager.webapp.address </名前>
<値> hadoop2:8088 </ value>の
</プロパティ>
このポートは変更することができます
質問:このResourceManagerない稼働して、マスターノードの名前ノード別のマシンで構成され、その理由は何ですか?
Googleの下では、名前ノードとResourceMangerは、同じマシンが名前ノード糸に開始することができないではない場合は、糸が配置機械ResouceManagerに開始すべきであると述べました。さて、問題は解決され、思い出し感謝
理解:オリジナル、HDFS、糸、MR 3つの別々のコンポーネントを。名前ノードは、このResourceManagerが糸ヘッドで、HDFSヘッドです。名前ノード開始のResourceManager上の2つの異なるヘッドは、自然に立ち上がります。
だから、名前ノードとResourceMangerない場合は、HDFSを開始するのと同じマシン、再起動糸場合。あなたはワンステップでスタートすべてを使用することはできません。
または問題がありますか?このResourceManagerが何のスレーブ設定されていないところのノードは、ノードマネージャはローカルで起動した場合。
6)構成スレーブ
クラスタ構成ファイルを読み込む* shの起動スクリプト - 構成での注意:.スレーブは、スタートです。指定しない場合、それは、スタンドアローンバージョンを実行します。
デフォルトはlocalhostです
hadoop3,4,5はデータノードです。糸はノードマネージャであります
hadoop3
hadoop4
hadoop5
----------------------
注:この時点で、名前ノードのノードで既に初期化。名前ノードを個別に開始することができ、データノードは、それぞれ、開始1は、名前ノードをたいものを登録しました。名前ノードの初期化が完了したら、以下のコマンド[トラバースする方法を、言い回し内部start-all.sh]を下に知ることができません。
必要に応じて、開始ノードのデータノードコマンドまで。
hadoop-daemon.sh開始名前ノード
hadoop-daemon.shスタートデータノード
7、他のノードへのSCPアプリケーションファイル
SCP -rアプリケーションhadoop2:/ホーム/ Hadoopの
.........
別のノードへ8、SCPは/ etc / profile
sudoのscpコマンドは/ etc / profileのhadoop2:/ etc / profileを
..........
各ノード9、元の/ etc /プロファイル
ソースは/ etc / profile
10、名前ノードフォーマット(初期化は、名前ノードです)
HDFS名前ノード-format
ストレージディレクトリ/ home / Hadoopの/ hadoop_data / DFS /名前が正常にフォーマットされています。
11、Hadoopの開始
start-dfs.sh
12、糸を開始
hadoop2 yarn.resourcemanager.hostname構成で開始
start-yarn.sh
13、成功した検証
JPS
----------------------------------------
[Hadoopの@ hadoop1〜] $のJPS
2016名前ノード
2266のJPS
[Hadoopの@ hadoop2〜] $のJPS
2116年のResourceManager
2379のJPS
1963 SecondaryNameNode
[Hadoopの@ hadoop3〜] $のJPS
1968データノード
2244のJPS
2123ノードマネージャ
[Hadoopの@ hadoop4〜] $のJPS
1939データノード
2216のJPS
2095ノードマネージャ
[Hadoopの@ hadoop5〜] $のJPS
1939データノード
2216のJPS
2095ノードマネージャ
Webアクセス:
http://192.168.18.131:50070(HDFS管理インターフェイス--hadoop1)
http://192.168.18.132:8088/(MR管理インターフェイス--hadoop2)