ドッカーは、ビッグデータクラスタ（C）のHadoopベースの展開を構築します

主なコンテンツ

• Hadoopのインストール

前提

• 飼育係通常の使用
• JAVA_HOME環境変数

インストールパッケージ

マイクロクラウドダウンロード|タールパッケージディレクトリの下に

• Hadoopの2.7.7

  役割分担

  役割の割り当て	NN	DN	Shnhn
  クラスタマスター	それはあります	ノー	ノー
  クラスタスレーブ1	ノー	それはあります	それはあります
  クラスタスレーブ1	ノー	それはあります	ノー
  クラスタスレーブ1	ノー	それはあります	ノー

まず、環境を準備

ドッキングウィンドウに画像をアップロード

docker cp hadoop-2.7.7.tar.gz cluster-master:/root/tar

減圧

tar xivf hadoop-2.7.7.tar.gz -C /opt/hadoop

第二に、コンフィギュレーション・ファイル

コア-site.xmlに

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://jinbill</value>
        </property>
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>cluster-master:2181</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop</value>
        </property>
</configuration>

糸-site.xmlに

<configuration>
        <property>
                 <name>yarn.nodemanager.aux-services</name>
                 <value>mapreduce_shuffle</value>
        </property>
        <property>
                 <name>yarn.resourcemanager.ha.enabled</name>
                 <value>true</value>
        </property>
        <property>
                 <name>yarn.resourcemanager.cluster-id</name>
                 <value>mr_jinbill</value>
        </property>
        <property>
                 <name>yarn.resourcemanager.ha.rm-ids</name>
                 <value>rm1,rm2</value>
        </property>
        <property>
                 <name>yarn.resourcemanager.hostname.rm1</name>
                 <value>cluster-slave2</value>
        </property>
        <property>
                 <name>yarn.resourcemanager.hostname.rm2</name>
                 <value>cluster-slave3</value>
        </property>
        <property>
                 <name>yarn.resourcemanager.zk-address</name>
                 <value>192.168.11.46:12181</value>
        </property>
        <property>
                <name>yarn.nodemanager.pmem-check-enabled</name>
                <value>false</value>
        </property>

        <property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
        </property>
</configuration>

hadoop-env.sh

export JAVA_HOME=/opt/jdk/jdk1.8.0_221

HDFS-site.xmlの

<configuration>
        <property>
                <name>dfs.nameservices</name>
                <value>jinbill</value>
        </property>
        <property>
                <name>dfs.ha.namenodes.jinbill</name>
                <value>nn1,nn2</value>
        </property>
        <property>
                <name>dfs.namenode.rpc-address.jinbill.nn1</name>
                <value>cluster-master:8020</value>
        </property>
        <property>
                <name>dfs.namenode.rpc-address.jinbill.nn2</name>
                <value>cluster-slave1:8020</value>
        </property>
        <property>
                <name>dfs.namenode.http-address.shsxt.nn1</name>
                <value>cluster-master:50070</value>
        </property>
        <property>
                <name>dfs.namenode.http-address.shsxt.nn2</name>
                <value>cluster-slave1:50070</value>
        </property>
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://cluster-slave1:8485;cluster-slave2:8485;cluster-slave3:8485/jinbill</value>
        </property>
        <property>
                <name>dfs.client.failover.proxy.provider.jinbill</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
        </value>
        </property>
        <property>
                <name>dfs.ha.fencing.methods</name>
                <value>sshfence</value>
        </property>
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/root/.ssh/id_rsa</value>
        </property>
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/opt/hadoop/data</value>
        </property>
        <property>          
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>
        </property>
</configuration>

新しいスレーブは直接編集する場合は、ファイル

cluster-slave1
cluster-slave2
cluster-slave3

第三に、初期化

すべてのノードを起動しますJournalNode

hadoop-daemon.sh start journalnode

上のNNの初期化メタデータ

hdfs namenode -forma

SNNへのメタデータの書式設定のコピー

scp /opt/zookeeper/dfs cluster-slave1:/opt/hadoop 

NN開始マスターノード

hadoop-daemon.sh start namenode

SNN上で実行

hdfs namenode -bootstrapStandby

スタートSNN

hadoop-daemon.sh start namenode

SNNのNNまたは初期化ZKFC

hdfs zkfc -formatZK

ノード上で停止

stop-dfs.sh

第四に、スタート

start-dfs.sh

start-yarn.sh

第五に、テストは成功しました

異なるネットワークセグメントので、私たちはアクセスへのルートを追加する必要があります

1. オープンcmdは、管理者権限が必要です
2. ルートは172.15.0.0マスク255.255.0.0 192.168.11.38を追加-p

アクセスUIインターフェース

Hadoopクラスタのアクセスアドレス
のHadoopジョブ住所