Hadoop: HA セットアップ

プログラミング 2023-09-17 08:36:06 訪問数: null

準備

ここに画像の説明を挿入します

1. すべてのクラスターを停止します

3 つのノードすべてでこれを実行します (右クリック --> 入力の送信先 --> すべてのセッション)=====================


2. /opt sudo mkdir /opt/haの下に ha ディレクトリを作成します。

3. 所有者とグループを設定します
sudo chown atguigu:atguigu ha

====================元に戻す: 右クリック ----> 入力を ---- 現在のセッションに送信
=Hadoop102で

4. 元の hadoop を /opt/ha にコピーします (hadoop102 上 – 後で配布されます)
cp -r /opt/module/hadoop-3.1.3 /opt/ha

5. /opt/ha 下の Hadoop 内のすべてのデータ ログと /tmp/* を削除します
(hadoop102 上のみ – hadoop103 と hadoop104 は分散されていないため)
rm -rf data logs
sudo rm -rf /tmp/*

6. 環境変数を構成します (/opt/module/hadoop-3.1.3 を指すものを、/opt/ha/hadoop-3.1.3 を指すものに変更します)
sudo vim /etc/profile.d/my_env.sh

修改
#定义HADOOP_HOME变量
export HADOOP_HOME=/opt/ha/hadoop-3.1.3

7. 環境変数を配布します
sudo scp -r /etc/profile.d/my_env.sh hadoop103:/etc/profile.d/my_env.sh
sudo scp -r /etc/profile.d/my_env.sh hadoop104:/etc/プロフィール.d/my_env.sh

8. hadoop102、hadoop103、および hadoop104 環境変数を有効にし、
すべての環境変数を切断し、再接続します。
各ノードは次のことを確認する必要があります: echo $HADOOP_HOME

9.
xsync /opt/ha/hadoop-3.1.3を配布します。

NN-HA構成

1. しっかり準備する

2.core-site.xml の構成


fs.defaultFS
hdfs://mycluster

  <!-- 指定hadoop运行时产生文件的存储目录 -->
  <property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/ha/hadoop-3.1.3/data</value>
  </property>

2. hdfs-site.xml を構成する

	 <!-- NameNode数据存储目录 -->
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.tmp.dir}/name</value>
  </property>

  <!-- DataNode数据存储目录 -->
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file://${hadoop.tmp.dir}/data</value>
  </property>

  <!-- JournalNode数据存储目录 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>${hadoop.tmp.dir}/jn</value>
  </property>

  <!-- 完全分布式集群名称 -->
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>

  <!-- 集群中NameNode节点都有哪些 -->
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2,nn3</value>
  </property>

  <!-- NameNode的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>hadoop102:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>hadoop103:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn3</name>
    <value>hadoop104:8020</value>
  </property>

  <!-- NameNode的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>hadoop102:9870</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>hadoop103:9870</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn3</name>
    <value>hadoop104:9870</value>
  </property>

  <!-- 指定NameNode元数据在JournalNode上的存放位置 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
  </property>

  <!-- 访问代理类：client用于确定哪个NameNode为Active -->
  <property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

  <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>

  <!-- 使用隔离机制时需要ssh秘钥登录-->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/atguigu/.ssh/id_rsa</value>
  </property>

分布 =======

3. ジャーナルノード
hdfs --daemon を開始 (hadoop102、hadoop103、hadoop104) でジャーナルノードを開始します。

4. [hadoop102] で、フォーマットして NameNode を起動します。
hdfs namenode -format
hdfs --daemon start namenode

5. hadoop103 と hadoop104 でメタデータを同期し、NameNode
hdfs namenode -bootstrapStandby
hdfs --daemon start namenodeを開始します。

6. 3 つのノードでdatanode
hdfsを開始します --daemon start datanode

手動フェイルオーバー=============================

7. [nn1–hadoop102] をアクティブ
hdfs haadmin -transitionToActive nn1に切り替えます。

8. Active
hdfs haadmin -getServiceState nn1かどうかを確認します。

自動フェイルオーバー===============================
1. 設定ファイルに注意してください! ！！！！手動フェールオーバーを実行するだけの場合は、次の内容は設定しないでください。 (1)
hdfs-site.xml に

dfs.ha.automatic-failover.enabled
trueを追加します。 (2)

コア サイトに

ha.zookeeper.quorum
hadoop102を追加します。 XML ファイル:2181、hadoop103:2181、hadoop104:2181

分发=======

(1) すべての HDFS サービスをシャットダウンします:
stop-dfs.sh
(2) Zookeeper クラスターを開始します:
zkCluster.sh start
(3) Zookeeper の HA ステータスを初期化します:
hdfs zkfc -formatZK
(4) HDFS サービスを開始します:
start- dfs.sh

(5) 検証:
アクティブなネームノードを停止し、他のネームノードがアクティブになったかどうかを確認します。 hdfs --daemon stop
namenode

13074 ジャーナルノード
12275 クォーラムピアメイン
13300 DFSZKFailoverController
12700 ネームノード
12829 データノード

RM-HA構成

1. NN の HA が適切に構成されていることを前提としています。

2.yarn-site.xml、

yarn.nodemanager.aux-services、
mapreduce_shuffleの構成

<!-- 启用resourcemanager ha -->
<property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
</property>

<!-- 声明两台resourcemanager的地址 -->
<property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>cluster-yarn1</value>
</property>

<!--指定resourcemanager的逻辑列表-->
<property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2,rm3</value>
</property>

<!-- 指定rm1的主机名 -->
<property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>hadoop102</value>
</property>

<!-- 指定rm1的web端地址 -->
<property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>hadoop102:8088</value>
</property>

<!-- 指定rm1的内部通信地址 -->
<property>
    <name>yarn.resourcemanager.address.rm1</name>
    <value>hadoop102:8032</value>
</property>

<!-- 指定AM向rm1申请资源的地址 -->
<property>
    <name>yarn.resourcemanager.scheduler.address.rm1</name>  
    <value>hadoop102:8030</value>
</property>

<!-- 指定供NM连接的地址 -->  
<property>
<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
    <value>hadoop102:8031</value>
</property>

<!-- 指定rm2的主机名 -->
<property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>hadoop103</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>hadoop103:8088</value>
</property>
<property>
    <name>yarn.resourcemanager.address.rm2</name>
    <value>hadoop103:8032</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address.rm2</name>
    <value>hadoop103:8030</value>
</property>

<property>

糸.resourcemanager.resource-tracker.address.rm2
hadoop103:8031

<!-- 指定rm1的主机名 -->
<property>
    <name>yarn.resourcemanager.hostname.rm3</name>
    <value>hadoop104</value>
</property>
<!-- 指定rm1的web端地址 -->
<property>
    <name>yarn.resourcemanager.webapp.address.rm3</name>
    <value>hadoop104:8088</value>
</property>
<!-- 指定rm1的内部通信地址 -->
<property>
    <name>yarn.resourcemanager.address.rm3</name>
    <value>hadoop104:8032</value>
</property>
<!-- 指定AM向rm1申请资源的地址 -->
<property>
    <name>yarn.resourcemanager.scheduler.address.rm3</name>  
    <value>hadoop104:8030</value>
</property>

<!-- 指定供NM连接的地址 -->  
<property>
<name>yarn.resourcemanager.resource-tracker.address.rm3</name>
    <value>hadoop104:8031</value>
</property>

<!-- 指定zookeeper集群的地址 --> 
<property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>

<!-- 启用自动恢复 --> 
<property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
</property>

<!-- 指定resourcemanager的状态信息存储在zookeeper集群 --> 
<property>
    <name>yarn.resourcemanager.store.class</name>     
	<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

<!-- 环境变量的继承 -->
<property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

3. ファイルを配布する

4. hadoop102 で
start-yarn.shを実行します。

5. サービスステータスを確認します
yarn rmadmin -getServiceState rm1

yarn --daemon stop resourcemanager

おすすめ

転載: blog.csdn.net/weixin_45427648/article/details/131817118
おすすめ
Open Source Daily | 大規模なモデルの価格競争における推論の最適化、Mistral AI は独自の Lu Xun を使用して米国市場をターゲットにしています。
ランキング
必要なのは注意だけです:Transformer の核となるアイデア
OpenCVの023 ---中央ぼかし
アプリケーション・コンテキスト
GD32starup_gd32e10x.s分析
Ubuntu 64のGCCはどのように32ビットプログラムをコンパイルしますか
動的パラメータとの比較をソートする方法は？
どのように同じコンテンツを操作するための複数のキーエントリでExcelスプレッドシート？偉大な神がそうしています
Mac用SILKYPIX Developer Studioをプロ9E（画像エディタ）
Ali Lingyang One の立ち上げの裏で、小売企業は新しいデジタル ソリューションを歓迎
ブロックチェーンとエッジデバイス上のリソースストレージに関するこの写真を見るのを手伝ってくれるブロックチェーン関連の大物はいますか?
アーカイブ
もっと
2024-05-29(1)
2024-05-28(0)
2024-05-27(1)
2024-05-26(0)
2024-05-25(1)
2024-05-24(11)
2024-05-23(35)
2024-05-22(9)
2024-05-21(36)
2024-05-20(5)

コードワールド

© 2018 codetd.com