注:Hadoopクラスタ3台の仮想マシンは、ホスト名は次のとおりです。hadoop01、hadoop02、hadoop03
A、Hadoopクラスタのインストール
1.標準操作、フォルダを作成します。
CD /エクスポート/
CD /エクスポート/データ/
CD /エクスポート/サーバ/
CD /エクスポート/ソフトウェア/
JDK、Hadoopのダウンロード2.:
JDKます。https://www.oracle.com/technetwork/java/javase/downloads/index.html
Hadoopをします。https://hadoop.apache.org/releases.html
/エクスポート/ソフトウェア/ディレクトリにインストールパッケージ
3. JDK、Hadoopのをインストールします。
CD /エクスポート/ソフトウェア/
タール-zxvf(JDK)-C /エクスポート/サーバ/
タール-zxvf(Hadoopの)-C /エクスポート/サーバ/
4. JDKの名前を変更し、Hadoopのを操作しやすいです。
CD /エクスポート/サーバ/
MV {JDK} / JDK
MV {}のHadoop / Hadoopの
5. JDKの設定、Hadoopの環境変数:
viのは/ etc / profile
輸出JAVA_HOME = /エクスポート/サーバ/ JDK
輸出PATH = $ PATH:$ JAVA_HOME / binに
輸出CLASSPATH =。$ JAVA_HOME / libに/ dt.jar:$ JAVA_HOME / libに/ tools.jarを
輸出HADOOP_HOME = /エクスポート/サーバ/ Hadoopの
輸出PATH = $ PATH:$ HADOOP_HOME / binに:$ HADOOP_HOME / sbinに
6.再起動し、有効にする非再起動:
再起動します:再起動
非再起動:ソースは/ etc / profile
二、Hadoopクラスタの設定
マスターノードのソリューションは、Hadoopの圧縮/などを入力します。1. /パケット/ディレクトリをHadoopの
2. [変更hadoop-env.shファイル:( JDKの環境変数は、Hadoopの設定を実行するために必要な、目的は、Hadoopのデーモンが起動時に実行できるようにすることです)
我々/hadoop-env.sh
輸出JAVA_HOME = /エクスポート/サーバ/ JDK
3.core-site.xml構成ファイル:(ホスト、Hadoopのクラスタを実行するメイン処理名前ノードのHDFSマスターノード位置、Hadoopの実行を設定する際に、一時的なディレクトリデータを生成します)
我々/core-site.xml
<設定>
<! - - Hadoopのファイルシステムを設定するためのURIで指定された>
<プロパティ>
<名前> fs.defaultFS </名前>
<! -名前ノードのhadoop01マシン上のアドレスを指定します- >
<値> HDFS:// hadoop01:9000 </ value>の
</プロパティ>
<! -一時ディレクトリのHadoopの設定、デフォルトの/ tmp / Hadoopの- user.name} {$ - >
<プロパティ>
<名前> hadoop.tmp.dir </名前>
<値> /エクスポート/サーバ/ Hadoopの/ TMP </ value>の
</ property>の
</設定>
4.変更HDFS-site.xml構成ファイル:(データ・ブロックのコピーHDFS数は、デフォルト値は3であり、HTTPプロトコルが提供されるサービスURLセカンダリ名前ノード)
我々/hdfs-site.xml
<設定>
<! -指定HDFS副本的数量- >
<プロパティ>
<名前> dfs.replication </名前>
<値> 3 </ value>の
</ property>の
<! - -ホスト二次名前ノードのIPとポート>
<プロパティ>
<名前> dfs.namenode.secondary.httpアドレス</名前>
50090 </ value>の<値> hadoop02
</プロパティ>
</設定>
5.変更mapred-site.xmlファイル:(のMapReduce Hadoopが)糸のためのフレームワークを操作して指定します
CP mapred-site.xml.template mapred-site.xmlに
我々/mapred-site.xml
<設定>
<! -指定のMapReduceランタイム・フレームワークがYARNに、本明細書に指定された、デフォルトのローカル- >
<プロパティ>
<名前> mapreduce.framework.name </名前>
<値>糸</ value>の
</プロパティ>
< /設定>
6.変更糸-site.xml構成ファイル:( YARNのResourceManagerマスタープロセスホストhadoop01を実行し、構成するノードマネージャの実行時に補助的なサービスは、あなたが通常のMapReduceを実行するために、既定のプログラムmapreduce_shuffleを設定する必要があります)
我々/yarn-site.xml
<設定>
<! - YARNマネージャ指定されたクラスタ(のResourceManager)アドレス - >
<プロパティ>
<名前> yarn.resourcemanager.hostname </名前>
<値> hadoop01 </ value>の
</ property>の
<プロパティ>
<名前> yarn.nodemanager.aux-サービス</名前>
<値> mapreduce_shuffle </ value>の
< /プロパティ>
</設定>
7.変更奴隷ファイル:(開始するためのキーを持つノードのすべてのHadoopクラスタのホスト名、からのレコード、デフォルトのコンテンツを削除する必要があります)
我々/スレーブ
hadoop01
hadoop02
hadoop03
8.マスターノードクラスタ構成ファイルは、他の子ノードに配布します:
SCPは/ etc / profileのhadoop02:/ etc / profileを
SCPは/ etc / profileのhadoop03:/ etc / profileを
SCP -r /エクスポート/ hadoop02:/
SCP -r /エクスポート/ hadoop03:/
9.子ノードは、リフレッシュ命令です。
ソースは/ etc / profile
三、Hadoopクラスタのテスト
1.フォーマットファイルシステム:
HDFS名前ノード-format
OR
Hadoopの名前ノード-format
2.起動とシャットダウンHadoopクラスタ:1つのノードの起動とシャットダウンずつ
(1)プライマリノードの起動およびシャットダウン処理HDFS名前ノード
hadoop-daemon.sh開始名前ノード
hadoop-daemon.shストップ名前ノード
ノードHDFSデータノード(2)から起動およびシャットダウン処理
hadoop-daemon.shスタートデータノード
hadoop-daemon.shストップデータノード
(3)プライマリノードの起動およびシャットダウン処理糸のResourceManager
yarn-deamon.shのResourceManagerを開始
yarn-deamon.sh停止のResourceManager
(4)ノード糸ノードマネージャから起動およびシャットダウンプロセス
yarn-deamon.shノードマネージャを起動します
yarn-deamon.sh停止ノードマネージャ
(5)計画hadoop02ノードの起動とシャットダウンプロセスSecondaryNameNode
hadoop-daemon.shスタートsecondarynamenode
hadoop-daemon.shストップsecondarynamenode
3.起動とシャットダウンのHadoopクラスタ:起動とシャットダウンを開始するためのキー
(1)プライマリノードの起動と停止は、すべてのHDFSサービスを処理します
start-dfs.sh
stop-dfs.sh
すべてのサービスプロセスの(2)プライマリノードの起動と停止YARN
start-yarn.sh
stop-yarn.sh