HadoopのHAクラスタ構成ファイル

> 1、hadoop-env.sh設定

輸出JAVA_HOME =(JDKがインストールされています)

> 2、HDFS-site.xmlのプロフィール

<新しいサービス名の論理名>
<プロパティ>
<名前> dfs.nameservices </名前>
<値> MYCLUSTER、</ value>は
</プロパティ>
<サービス名は、それぞれの名前ノードの一意の識別子です>
<プロパティ>
<名前> dfs.ha.namenodes.mycluster </名前>
<値>マスター、スレーブ1 </ value>の
</プロパティ>
サーバーのRPC>の<名前ノード監視アドレス
<プロパティ>
<名前> dfs.namenode.rpcアドレス。 mycluster.master </名前>
<値>マスター:50070 </ value>の
</プロパティ>
<プロパティ>
<名前> dfs.namenode.rpc-address.mycluster.slave1 </名前>
<値>スレーブ1:50070 </値>
</プロパティ>
<各リスニング名前ノード標準のHTTPアドレス>
<プロパティ>
<名前> dfs.namenode.http-address.mycluster.master </名前>
<値>マスタ:9000 </値>
</ property>の
<プロパティ>
<名前> dfs.namenode.http-address.mycluster.slave1 </名前>
<値>スレーブ1:9000 </値>
</ property>の
<配置JournalNodes集群的URI>
<プロパティ>
<名前> dfs.namenode.shared.edits.dir </名前>
<値> qjournal://マスター:8485;スレーブ1:8485;スレーブ2:8485 / MYCLUSTER </ value>の
< /プロパティ>
<配置故障转移代理类>
<プロパティ>
<名前> dfs.client.failover.proxy.provider.mycluster </名前>
<値> org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider < /値>
</ property>の
<sshfence -ssh到アクティブ名前ノード并终止进程>
<プロパティ>
<名前> dfs.ha.fencing.methods </名前>
<値> sshfence </ value>の
</ property>の
<プロパティ>
<名前> dfs.ha.fencing.ssh.private・キー・ファイル</名前>
<値> /root/.ssh/id_rsa </ value>の
</ property>の
<シェル-运行一个任意的シェル命令来隔离アクティブ名前ノード>
<プロパティ>
<名前> dfs.ha.fencing.methods </名前>
<値>シェル(/ binに/真)</ value>の
</ property>の
<journalnode日志存放路径>
<プロパティ>
<名前> dfs.journalnode.edits.dir </名前>
<値>は/ usr / local / srcに/ Hadoopの/データ/ journalnode / JN </ value>の
</ property>の
<自动故障转移>
<プロパティ>
<名前> dfs.ha.automatic-failover.enabled </名前>
<値>真</ value>の
</プロパティ>

> 3、コアsite.xml構成ファイル

<指定HDFS的ネームサービス>
<プロパティ>
<名前> fs.defaultFS </名前>
<値> HDFS:// MYCLUSTER </ value>の
</ property>の
<指定Hadoopの临时目录>
<プロパティ>
<名前> hadoop.tmp .DIR </名前>
<値>は/ opt / tmpに/ Hadoopの/ haの</ value>の
</ property>の
<飼育係的地址>
<プロパティ>
<名前> ha.zookeeper.quorum </名前>
<値>マスター: 2181、スレーブ1:2181、スレーブ2:2181 </ value>の
</プロパティ>

> 4、mapred-site.xml構成

<プロパティ>
<名前> mapreduce.farmework.name </名前>
<値>糸</ calue>
</ property>の

> 5、糸site.xmlの構成

<打开高可用>
<プロパティ>
<名前> yarn.resourcemanager.ha.enabled </名前>
<値>真</ value>の
</ property>の
<启用自动故障转移>
<プロパティ>
<名前> yarn.resourcemanager。 ha.automatic-failover.enabled </名前>
<値>真</ value>の
</ property>の
<! -指定RM的クラスタID - >
<プロパティ>
<名前> yarn.resourcemanager.cluster-ID </名前>
<値>糸-RM-クラスター</ value>の
</ property>の
<! -指定RM的名字- >
<プロパティ>
<名前> yarn.resourcemanager.ha.rm-IDS </名前>
<値> RM1、RM2 </ value>の
</ property>の
<! -分别指定RM的地址- >
<プロパティ>
<名前> yarn.resourcemanager.hostname.rm1 </名前>
<値>マスター</ value>の
</ property>の
<プロパティ>
<名前> yarn.resourcemanager.hostname.rm2 </名前>
<値>サーバー1 </ value>の
</ property>の
<! -指定ZK集群地址- >
<プロパティ>
<名前> yarn.resourcemanager。 ZK-アドレス</名前>
<値>マスター:2181、SERVER1:2181、SERVER2:2181 </ value>の
</ property>の
<配置YARN的HTTP端口>
<プロパティ>
<名前> yarn.resourcemanager.webapp.address。 RM1 </名前>
<値>マスター:8088 </ value>の
</ property>の
<プロパティ>
<名前> yarn.resourcemanager.webapp.address.rm2 </名前>
<値>スレーブ1:8088 </ value>の
</プロパティ>

<プロパティ>
<名前> yarn.nodemanager.aux-サービス</名前>
<値> mapreduce_shuffle </ value>の
</ property>の

> 6、スレーブ配置(データノード)
マスタ
スレーブ1
スレーブ2

おすすめ

転載: blog.51cto.com/14572091/2449158