バージョン:(centos7.6)
プラットフォームを構築するために開始する前に、私はすでにプリインストールのMySQL
PS:ユーザーおよび権限を作成するMySQLの:
図1は、 *上のすべての権限を付与します。*に「ルート」 @ 「localhostの」によって識別される「123456 」グラントオプションで
まあ、それは言っても過言では、コンフィギュレーションを開始します。
私は自分の使用してKVM仮想マシンのマスター、スレーブ1、スレーブ2の3つのノードを、使用していました。
対応するIPアドレス:
マスター:172.16.90.145
スレーブ1:172.16.90.147
スレーブ2:172.16.90.148
1は、便宜上、設定した仮想マシン上で自分自身と相まって、SELinuxを閉じ、firewalld
図2は、ホストを変更し、ホストマッピングの設定、すなわち、変更は完全なコピーであるSCP
エコー ' 172.16.90.145マスター' >>の/ etc / ホストが エコー ' 172.16.90.147スレーブ1 ' >>の/ etc / ホストが エコー ' 172.16.90.148スレーブ2 ' >>の/ etc / ホストが scpコマンドの/ etc / hostsスレーブ1:の/ etc / ホスト SCP / etc / hostsのスレーブ2:/ etc / hostsファイル
3は、configure sshのフリー秘密:(ここで私は空白のパスワードを設定して行う三者無料の秘密の便宜のために)
SSH-keygenは sshの -copy- IDのマスター のssh -copy- ID SLAVE1 SSH -copy- のidスレーブ2
4、(つまりJava)のJDKをインストール
アンパックJDKインポートした後、ソフトリンクを作成し、環境変数、ソース環境変数ファイルを追加し、最終的にバージョン番号を参照してください
タール zxvf JDK-8u111-のlinux-x64の。タール.gzを LN -sは/ usr / local / jdk1。8 .0_111は/ usr / local / javaの エコー ' 輸出PATH = $ PATH:$ JAVA_HOME / binに' >>は/ etc / プロファイル エコー ' JAVA_HOME =は/ usr / local / jdk1.8.0_111 ' >>の/ etc / プロファイル ソース /など/ プロファイル のjava -version
5、インストールのHadoop:
減圧
タールは、 Hadoopのzxvf 2.9。0。タール GZ
ソフトリンクを作成します。
LN hadoop- / -sは/ usr / local 2.9。0 /は/ usr / local / Hadoopの
環境変数と発効を追加します
エコー ' HADOOP_HOME =は/ usr / local / Hadoopの-2.9.0 / ' >>は/ etc / プロファイル エコー ' 輸出PATH = $ PATH:$ HADOOP_HOME / binに、sbinに' >>は/ etc / プロファイル ソースは/ etc / profile
設定ファイルを変更します。
名前ノードマスターホスト上のローカルデータディレクトリを確立
ます。mkdir -p /データ/ NN
データノードは、ローカルデータディレクトリスレーブ1、スレーブ2内を設立します
ます。mkdir -p /データ/ DN
編集コアsite.xmlの、マスターの<構成>ノードに次のように追加
<プロパティ> <名前> fs.default.name </名前> <値> HDFS:// マスター:9000 </ value>の </ property>の <プロパティ> <名前> IO。ファイル .buffer.size </名前> <値> 131702 </ value>の </ property>の
マスターの[編集] HDFS-site.xmlのは、<設定>ノードに以下を追加します
<プロパティ> <名前> dfs.nameslave.name。DIR </名前> <値> のファイル:/// データ/ NN </ value>の </ property>の <プロパティ> <名前> dfs.dataslave.data。DIR </名前> <値> のファイル:/// データ/ DN </ value>の </ property>の <プロパティ> <名前> dfs.replication </名前> <値> 1 </ value>の </ property>の <プロパティ> <名前> dfs.nameslave.secondary.httpアドレス< </ property>の <プロパティ> <名前> dfs.webhdfs.enabled </名前> <値> 真 </ value>の </適切な
mapred-site.xmlのにマスター、mapred-site.xml.templateコピーで、編集mapred-site.xmlに
CP mapred-site.xml.template mapred-site.xmlに
<プロパティ> <名前> mapreduce.framework.name </名前> <値>糸</ value>の <最終> 真 </最終> </ property>の <プロパティ> <名前> mapreduce.jobtracker.http.address </名前> <値>マスター:50030 </ value>の </ property>の <プロパティ> <名前> mapreduce.jobhistory.address </名前> <値>マスター:10020 </ value>の </ property>の <プロパティ> <名前> mapreduce.jobhistory.webapp.address </名前> <値>マスター:19888 </ value>の </ property>の <プロパティ> <名前> mapred.job.tracker </名前> <値>のhttp:// マスター:9001 </ value>の </ property>の
マスター、編集糸-site.xml内、
<プロパティ> <名前> yarn.slavemanager.aux-サービス</名前> <値> mapreduce_shuffle </ value>の </ property>の <プロパティ> <名前> yarn.slavemanager.auxservices.mapreduce.shuffle.class </名前> <値> org.apache.hadoop.mapred.ShuffleHandler </値> </ property>の <プロパティ> <名前> yarn.resourcemanager.address </名前> <値>マスタ:8032 </値> </ property>の <プロパティ> <名前> yarn.resourcemanager.scheduler.address </名前> <値>マスター:8030 </ value>の </ property>の <プロパティ> <名前> yarn.resourcemanager.resource-tracker.address </名前> <値>マスター: 8031 </ value>の </ property>の <プロパティ> <名前> yarn.resourcemanager.admin.address </名前> <値>マスター:8033 </ value>の </ property>の <プロパティ> <名前> yarn.resourcemanager。 webapp.address </名前> <値>マスター:8088 </ value>の </ property>の <プロパティ> <名前> yarn.resourcemanager。ホスト名 </名前> <値>マスター</ value>の </ property>の <プロパティ> <名前> yarn.slavemanager.resource.memory-MB </名前> <値>
サーバーの構成上のマスタコピーは、コマンド転送SCPに入る、各ノード上の対応する位置にHadoopを完了しました。
SCP -rは/ usr / local / Hadoopの/ * スレーブ1:は/ usr / local / Hadoopの/ SCP -rは/ usr / local / Hadoopの/ *スレーブ2:は/ usr / local / Hadoopの/
Hadoopの名前ノードのマスタに、初期化
スタートのHadoop
hadoop-daemon.sh名前ノード-format
./start-all。SH
最後に、JPSは、サービスノードの開始を表示するコマンドを使用することは正しいです
あなたは、Webインターフェイスの打ち上げ成功を見ることができます