Hadoop分散クラスター構築（極端な焦点）

Hadoop分散クラスター構築（極端な焦点）

3.1目標を立てる

マシンのハードウェアの制限（ここでは、Crisのコンピューターには16Gメモリがあります）のため、次の環境を構築する必要がありました

実際、完全な環境を構築するには、少なくとも6台の仮想マシンが必要です。条件が限られているため、3台の仮想マシンを構成することは困難です。
特定のコンポーネントの名前と各ノードのIDはここでは紹介しません。わからない、グーグルしてください

3.2建設プロセス

マシンNo.101、102、および103には、独自のJavaおよびHadoop環境があります。ここでは、
Hadoop環境構成のホストとしてNo. 101を選択します。構成が完了すると、マシンNo.102および103に直接同期できます。

①、コア構成ファイル

ここで、Crisが最初に権限を設定します。/opt/softwareと/ opt / moduleの所有者とグループがすべてCrisであることを確認する必要があります。

最初の2つの章に注意深く従ってください、そのような問題はありません
、コア構成ファイルcore-site.xmlを変更することを知ってください

HDFS構成ファイルを変更する

hadoop-env.sh

hdfs-site.xmlはvimhdfs-site.xmlと
入力し、次のように変更します。

YARN構成ファイルを変更します

糸-env.sh

糸-site.xml

MapReduce構成ファイル

mapred-env.sh

mapred-site.xml

履歴サーバーの構成
プログラムの履歴操作を表示するには、vimmapred-site.xmlと入力します。

構成ログの集約
ログ集約の概念：アプリケーションが完了すると、プログラム操作ログ情報がHDFSシステムにアップロードされます。ログ集計機能の利点：
プログラムの実行の詳細を簡単に確認および確認できるため、開発とデバッグに便利です
。vimyarn-site.xmlと入力してください。

②。構成済みのHadoop構成ファイルをクラスターに配布します

102と103のファイルが正常に同期されているかどうかを確認します
102

103

③、クラスターシングルポイントスタート

フォーマット

101でNameNodeを開始します

101、102、103はそれぞれDataNodeを開始します

個人的には、セットアップが完了した後、最初にシングルノードを実行し、問題を時間内に見つけて解決してから、
シングルポイントサービスを停止することをお勧めします。

3.3クラスターを開始します

スレーブを構成する

次に、ファイルを同期します

クラスターを開始してテストします

次のページを表示するには、対応するWebページにアクセスしてください