Hadoopクラスタを構築する上でのVMware（テキスト版）
使用するツールの各バージョン：
- システムイメージ：CentOSの-7-x86_64版 - DVD-1810
- VMのバージョン：VMware WorkstationのPro15
- Javaバージョン：JDK-8u221-のlinux-x64の
- Hadoopのバージョン：Hadoopの-2.7.7
準備の手順：
- ダウンロードのCentOS-7ミラー、マッチした日JDKダウンロードパッケージ、パッケージのダウンロードマッチングのHadoop
- ネットワークのVMware VMnet8のセットアップ、「NATモード」に配置されたサブネットIP、サブネットマスク、ゲートウェイ
クラスター計画：
- クラスタ構造の前に、あるべきクラスタ化された計画、いくつかの設定ファイルは、設定、クラスタベースの計画に必要な前に、あなたはHadoopのさまざまなコンポーネントでも計画する必要が達成するためにどのホストサーバーにインストールする必要があり、負荷分散を避けますダウンタイムは不可逆的な被害をもたらし、クラスター計画は、分散環境を構築する前に、次のように、この実験は、具体的に計画、最も重要なステップの一つです。
| hadoop101 | hadoop102 | hadoop103 | |
|---|---|---|---|
| HDFS | 名前ノード DateNode |
DateNode | DateNode SecondaryNameNode |
| 糸 | ノードマネージャ | このResourceManager ノードマネージャ |
ノードマネージャ |
公式の手順：
1.インストールシステムイメージ
- 「ソフトウェアのインストール」の「GUIを使用したサーバ」を選択し、あなたがsshなどの基本的なツールのセットを持っているように、UIインターフェースなど、上の「ディスクが分割」自分自身のデフォルトまたは手動パーティションの最良をカスタマイズすることができます選択
rootユーザーと一般ユーザーを作成します。2.
- なお、通常のユーザー名はすべて小文字にする必要があり、これはという名前のユーザーを作成しました
tomandersen
VMware Toolsをインストール3。
- オープンデスクトップは、デスクトップにディスクイメージ、エキスtar.gz形式が付属していたフォルダ実行
vmware-install.plインストールの完了後にファイルを、適切な構成にLinuxシステムの解像度を調整します
4. [追加sudoの通常のユーザー権限と暗号は、sudoコマンドを使用して実装無料
- 方法1：使用visudoをコマンド手動で直接または変更の/ etc / sudoersのプロファイルに、
root ALL=(ALL) ALL配置された後方フォーマットを追加<用户名> ALL=(ALL) NOPASSWD:ALLなど、tomandersen ALL=(ALL) NOPASSWD:ALLパスワードログインすることなく達成する「須藤-s」コマンドを使用することができ、パスワードを指定須藤ユーザーを使用せずに達成することができますrootユーザ。 - 方法2：別のグループは無料sudoを使用して暗号化されたすべてのユーザーを達成するために使用することができる：フォーマット：①ユーザー・グループは、Hadoopを呼ば作成、②Hadoopのグループにユーザーを追加、③すべてのグループメンバーの根が密無料に配置された
%<组名> ALL=(ALL) NOPASSWD:ALLような、%hadoop ALL=(ALL) NOPASSWD:ALL
5.変更NICの名前（変更することはできません）
6.静的IPを設定します。
7.ホスト名を変更します。
- 方法1：手動で編集することができます/ etc / sysconfig / networkファイルを、あるいは設定を追加
NETWORKING=yesしてHOSTNAME=<新主机名>、このようなをHOSTNAME=hadoop101、開始を再起動します - 方法2： formatコマンドを使用して
hostnamectl set-hostname <新主机名>のような、hostnamectl set-hostname hadoop101、すぐに効果的 - 方法3：変更の/ etc / hostnameファイルは、ファイルは、次のような、ホスト名の文字列に直接追加され
hadoop101、有効にする再起動
8.設定/ etc / hostsファイル
- など、ホストのIPアドレスとホスト名をマップするクラスタを追加
192.168.126.101 hadoop101
192.168.126.102 hadoop102
192.168.126.103 hadoop103
9.無効にファイアウォールfirewalld
systemctl disable firewalld.service- 注：CentOSの7またはFedoraのか、RHEL 7は、ファイアウォールfirewalldによって管理します
10.は、/ opt /下の通常および譲受人の所有する前に、ユーザーが作成したモジュールやソフトウェアのフォルダを作成します。
- フォルダを作成します
sudo mkdir moduleと、sudo mkdir software - フォルダとそのユーザー・グループが所属変更：
sudo chown tomandersen:tomandersen module/ software/
11. XShellホストHadoop101リモート接続ツールとは/ opt /ソフトウェア/パスにJDK Hadoopの着信パケット
- XShellのに用いることができる
rzの対応する領域に直接コマンド、またはドラッグ＆ドロップファイル
12.アンインストールし、既存のJDK
- JDKがインストールされているかどうかを確認するためのyumコマンドを使用します
sudo yum list installed | grep java、その後、JDK関連のパッケージを削除します。sudo yum remove <包名> - オープンJDKに付属している、ここでは、Sun JDKを使用します
13. JDKを再インストール
/opt/software/パス内のJDKは、抽出する/opt/module/パスを：tar -zxvf jdk-8u221-linux-x64.tar.gz -C /opt/module/（それは-Cパラメータパスを増加させるために必要なtarコマンドを抽出し、現在のディレクトリにないため）- 設定と地球環境変数を追加
JAVA_HOMEしてPATH：修正するsudoを使用+ viのコマンド/etc/profileファイルを、末尾に追加export JAVA_HOME=/opt/module/jdk1.8.0_221し、export PATH=$PATH:$JAVA_HOME/bin - リロード/ etc / profileファイルを有効にします：
source /etc/profile環境変数JAVA_HOMEをチェックします：which java
14.インストールのHadoop
- 同様に
/opt/software/抽出するために、パケットパスをHadoopの/opt/module/パスを：tar -xzvf hadoop-2.7.7.tar.gz -C /opt/module/ - 設定と地球環境変数を追加
HADOOP_HOMEしてPATH：利用sudoの+ viのコマンドは、最後に追加し、/ etc / profileファイルを変更するためにexport HADOOP_HOME=/opt/module/hadoop-2.7.7、export PATH=$PATH:$HADOOP_HOME/bin - リロード/ etc / profileファイルを有効にします：
source /etc/profileインストールが成功したかどうかを確認します：hadoop version
15.設定のHadoop
hadoop-2.7.7/etc/hadoop特有の参照して、関連の設定ファイルのパスHadoopクラスタミニマリストエントリの基本的な設定のチュートリアル
16.仮想マシンの完全なコピーとホスト名と他の新しいIPを変更
- フル仮想マシンをコピーして
hadoop101、生成hadoop102とhadoop103、そのようなhadoop101他のホストと一緒に同期する設定情報 - で
hadoop102とhadoop103ホスト名のホスト名が対応するように設定されていますhostnamectl set-hostname hadoop102し、hostnamectl set-hostname hadoop103 - それぞれのホストのIPアドレスを変更し、この実験
hadoop102とhadoop103アドレスがに設定されている192.168.126.102し、192.168.126.103その後、ネットワークカードの更新のIPアドレスを再起動します
ホストのsshログインの間に17セットの無料接着
クラスタ化されたNTP時刻同期を使用する18
19.フォーマットノードの名前ノード
- 最初にあなたが形式のクラスタノードの名前ノードに必要な開始する前に
hdfs namenode -format、またはhadoop namenode -format元が推奨する、後者のコマンドは廃止されます - これは名前ノードをフォーマット初めてではない場合は、前の削除が必要です
dataし、logsフォルダを
20.スタートHDFSクラスタ
- 使用
hadoop-2.7.7/sbin/パスの下のstart-dfs.shスクリプトを使用してHDFSクラスタノード起動するjpsコマンドを表示するJavaプロセスを、プロセスが一致する場合、クラスタの計画を開始するかどうかを観察します - 注：あなたが唯一の名前ノードのホスト上でHDFSクラスタを開始するか、名前ノードのプロセスを開始していないが、唯一のデータノードを開始することができます
21.スタートYARNクラスター：
- 使用
hadoop-2.7.7/sbin/パスの下のstart-yarn.shスクリプトを使用してYARNクラスタノード起動するjpsコマンドを表示するJavaプロセスを、プロセスが一致する場合、クラスタの計画を開始するかどうかを観察します - 注：あなたが唯一のホスト上でYARNのResourceManagerクラスタを起動、またはのResourceManagerプロセスを開始していないが、唯一のノードマネージャを起動することができます
22.テストを実行します：
- Hadoopのクラスタセットアップを使用するかどうかは、結果を観察し、成功したテストの例が付属しています：
hadoop jar /opt/module/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar pi 10 10
