この記事のオリジナルは、転載の場合は、原作者とのリンクを明記してください
ノードの今の構成
1、糸単一ノード構成管理
我々はmapread-site.xmlに設定する必要があります
以下のようにパラメータを設定し、次のとおりです。
など/ Hadoopの/ mapred- site.xmlの：
＃1 mapread-site.xmlの <構成> <プロパティ> <名前> mapreduce.framework.name </名前> <値>糸</値> </ property>の </構成> など / Hadoopの/ yarn- site.xmlの： ＃和糸-site.xmlの <設定> <プロパティ> <名前> yarn.nodemanager.aux-サービス</名前> <値> mapreduce_shuffle </ value>の </ property>の </設定>
図2に示すように、糸管理およびHAの構成
我々は、糸-site.xmlファイルを設定する必要があります
ここでの最小セットアップのサンプルですRMのフェールオーバーが。
<プロパティ> <名前> yarn.resourcemanager.ha.enabled </名前> <値> 真 </値> </ property>の <プロパティ> <名前> yarn.resourcemanager.cluster-ID </名前> <値>クラスタ1 </値> </ property>の <プロパティ> <名前> yarn.resourcemanager.ha.rm-IDS </名前> <値> RM1、RM2 </値> </ property>の <プロパティ> <名前> yarn.resourcemanager .hostname.rm1 </名前> <値> node03の</ value>の </ property>の <プロパティ> <名前> yarn.resourcemanager.hostname.rm2 </名前> <値> node04 </ value>の </ property>の <プロパティ> <名前> yarn.resourcemanager.zkアドレス</名前> <値>とnode02：2181、node03の：2181、node04：2181 </ value>の </プロパティ>
3、それらのいくつかの特定のプロセスノードは、相互の秘密キーログインを達成するために自由に、あなたが鍵を配布するためにお互いにこれらの2つのノードが必要な場所として自ノードResourceManagerに建設されます
node03の
[ルート@ node03の〜]＃にssh-keygenは-t dsaを-P '' -fの〜/ .ssh / id_dsaに
自分自身の自由の鍵の実現には、ログインしてください
[ルート@のnode03の〜]＃は、CDの.ssh / ＃をLL [ルートの.ssh node03の@] 总用量20 -rw-R - r--の1つのルートルート616 9月 23 11：35 のauthorized_keysは -rw ----- - 1ルートルート672 10月 4 15：57 id_dsaに -rw-R - r--の1つのルートルート601 10月 4 15：57 id_dsa.pub -rw-R - r--の1ルートルート171 9月 23 11：26 のknown_hosts - r--の-rw-rを1ルートルート616 9月 23 11：34 node01.pub [ルート@のnode03ののの.ssh]＃猫id_dsa.pub >> authorized_keysに
秘密鍵node03のnode04のノードで問題と名前を変更
[ルート@のnode03ののの.ssh]＃scpのid_dsa.pub node04： `pwd`は/ node03.pub
に追加のコマンドノードを行った後
[ルート@ node04のの.ssh]＃猫node03.pub >> authorized_keysに
同じnode04とnode03の同じコマンドとそれらのを確認するために、node04ファイル追加書類上node03の03キーを発行し、彼の秘密鍵のドキュメント
図4に示すように、クラスタのステップを開始します
要約：
開始：node01： 1つのZooKeeperの 2つの HDFS（使用しないスクリプトがあることに注意してください、[スタート] -すべての）スタート- dfs.sh NNとNN2が起動しない場合は、手動node07開始された、node06を必要とする： Hadoopのを - 名前ノードを起動しdaemon.sh 3 [スタート] - yarn.sh（ノードマネージャを起動します） 4、それぞれノード03と04でスクリプトを実行します。yarn-はこのResourceManagerに開始daemon.sh UIの訪問：IP：8088 ストップ： node01：STOP - dfs.sh node01：STOP - yarn.sh（ストップノードマネージャ） node03の、node04：糸 -daemon.shのResourceManager STOP（停止のResourceManager）
まずZKクラスタを起動し、コマンド：zkServer.sh開始
ミスターHDFSはに基づいているので、HDFSコマンドを起動する最初のプライマリノードである：start-dfs.sh
HDFSクラスタの起動：
プライマリノード上でノード・マネージャを起動し、このプロセスは、ノードのデータノードのそれぞれに開始されます
[node01のHadoop @ルート]＃start-yarn.sh
本明細書に記載起動しない、ノードは、それを起動するために行く二つの別々のResourceManagerを設定する必要があります
[ルート@のnode03ののの.ssh]＃yarn- daemon.shのResourceManager開始 へのロギング、のResourceManagerを開始するの/ opt / SXT / hadoop- 2.6。5 /ログ/糸ルートのResourceManager-node03の。でる
[ルート@のnode04との.ssh]＃yarn- daemon.shのResourceManager開始 へのロギング、のResourceManagerを開始するの/ opt / SXT / hadoop- 2.6。5 /ログ/糸ルートのResourceManager-node04。でる
SS -nalコマンドによって後にポート8088を表示するデフォルトの通信ポート糸とブラウザであり、
3888選挙はZK 2888は、内部クラスタ通信に使用するポートで、使用するポートZKクラスター機構であり、2181年にはシングルポートサーバとクライアントの通信であります
ブラウザアクセス糸
そのコンピューティングパワーを使用するには：
まず、自分自身を作成し、ファイルをアップロード
[ルート@ node01はhadoop- 2.6。5 ]＃のための私で配列` 100000 `; やるエコー" こんにちはSXT $ I " >> test.txtというの;が実行
[node01ソフトウェア@ルート]＃HDFS DFS -D dfs.blocksize = 1048576 -putあるtest.txt
コンピューティング機能プロセスの特定の使用
自分のパスのHadoopのインストールを確認するには
CDは/ opt / SXT / hadoop- 2.6。5 /共有/ Hadoopの/ MapReduceの
Test.txtという言葉があることを数えます
[ルート@ node01のMapReduceの]＃のHadoopのジャーのHadoopのMapReduce - -例- 2.6。5の.jar WORDCOUNT /test.txt / WORDCOUNT
あなたは、計算過程のスクロールバーの進行状況を確認することができます
バックグラウンド実行Linuxのコマンドライン
まず、ジョブの実行には、マップを実行するジョブを減らします
ブラウザ側の観察計算が完了しています
完成した現象を参照するには、コマンドライン
心が完了するのを待った後、それは、コマンドラインに命令することができます
ビューは、ファイルHDFS
調査結果を見てHDFS DFS -cat /ファイルを
HDFS DFS -cat /語数/パートR- 00000
結果
基本的な機能の完全な計算氏！！