ビッグデータ技術のHadoop（クラスタ構成）

情報 2023-04-17 01:38:09 訪問数: null

  1. クラスタ展開の計画

知らせ：

  • NameNode と SecondaryNameNode を同じサーバーにインストールしないでください

  • ResourceManager も大量のメモリを消費するため、NameNode および SecondaryNameNode と同じマシンに構成しないでください。

hadoop102

hadoop103

hadoop104

HDFS

NameNode

データノード

データノード

セカンダリ名ノード

データノード

糸

ノードマネージャー

リソースマネージャー

ノードマネージャー

ノードマネージャー

  1. 構成ファイルの説明

Hadoop 構成ファイルには、デフォルト構成ファイルとカスタム構成ファイルの 2 種類があり、ユーザーがデフォルト構成値を変更したい場合にのみ、カスタム構成ファイルを変更し、対応する属性値を変更する必要があります。

2.1 デフォルトの設定ファイル

取得するデフォルトのファイル

ファイルが Hadoop jar パッケージに格納されている場所

[core-default.xml]

hadoop-common-3.1.3.jar/core-default.xml

[hdfs-default.xml]

hadoop-hdfs-3.1.3.jar/hdfs-default.xml

[yarn-default.xml]

hadoop-yarn-common-3.1.3.jar/yarn-default.xml

[mapred-default.xml]

hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

2.2 カスタム構成ファイル

4 つの構成ファイルcore-site.xml、hdfs-site.xml、yarn-site.xml、および mapred-site.xml がパス $HADOOP_HOME/etc/hadoop に格納され、ユーザーは次のように構成を再変更できます。プロジェクト要件。

3. クラスターを構成する

3.1 コア構成ファイル

3.1.1 core-site.xml の構成

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim core-site.xml

ファイルの内容は次のとおりです。

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
    </property>
</configuration>

3.1.2 hdfs-site.xmlの設定【HDFS設定ファイル】

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml

ファイルの内容は次のとおりです。

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- nn web端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
    <!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

3.1.3 yarn-site.xml の設定 [YARN 設定ファイル]

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

ファイルの内容は次のとおりです。

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

3.1.4 mapred-site.xmlの設定【MapReduce設定ファイル】

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

ファイルの内容は次のとおりです。

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

3.1.5 構成済みの Hadoop 構成ファイルをクラスターに配布する

[atguigu@hadoop102 ~]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/
# 去103和104上查看文件分发情况
[atguigu@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
[atguigu@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

3.2 一緒にクラスタリング

3.2.1 ワーカーの設定

[atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

このファイルに次を追加します。

hadoop102
hadoop103
hadoop104

注: このファイルに追加されたコンテンツの末尾にスペースを使用することはできません。また、ファイル内で空白行を使用することもできません。

すべてのノード構成ファイルを同期します。

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

3.2.2 クラスターを起動する

(1) NameNode をフォーマットします。

クラスターを初めて開始する場合は、 hadoop102 ノードでNameNode をフォーマットする必要があります (注: NameNode をフォーマットすると新しいクラスター ID が生成されるため、NameNode と DataNode の間でクラスター ID が一致しなくなり、クラスターはクラスターが実行されている場合 NameNode を再フォーマットする必要がある場合は、最初に namenode および datanode プロセスを停止し、フォーマットする前にすべてのマシンのデータおよびログ ディレクトリを削除する必要があります。)

[atguigu@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

(2) HDFSの起動

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

(3) YARNの起動

ResourceManager で構成されたノード (hadoop103) でYARN を開始します。

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-yarn.sh

3.2.3 クラスタの起動・停止方法まとめ

(1)各モジュールを個別に起動/停止 (ssh の設定が前提)よく使われる

  • HDFS の全体的な開始/停止

start-dfs.sh/stop-dfs.sh

  • 全体の開始/停止 YARN

start-yarn.sh/stop-yarn.sh

(2) 各サービス部品を1つずつ起動・停止

  • HDFS コンポーネントを個別に開始/停止する

hdfs --daemon start/stop namenode/datanode/secondarynamenode

  • YARN の開始/停止

yarn --daemon start/stop resourcemanager/nodemanager

3.3 Hadoop クラスタの共通スクリプトの作成

3.3.1 Hadoop クラスターの起動およびシャットダウン スクリプト (HDFS、Yarn、Historyserver を含む): myhadoop.sh

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim myhadoop.sh

  • 次のように入力します：

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " ======启动 hadoop集群 ======="
        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
;;
"stop")
        echo " ==========关闭 hadoop集群 ========="
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

  • 保存して終了し、スクリプトの実行権限を付与します

[atguigu@hadoop102 bin]$ chmod +x myhadoop.sh

3.3.2 3 つのサーバーの Java プロセス スクリプトの表示: jpsall

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim jpsall

  • 次のように入力します：

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

  • 保存して終了し、スクリプトの実行権限を付与します

[atguigu@hadoop102 bin]$ chmod +x jpsall

/home/atguigu/bin ディレクトリを配布して、3 台のマシンすべてでカスタム スクリプトを使用できるようにします。

[atguigu@hadoop102 ~]$ xsync /home/atguigu/bin/

3.4 一般的な URL

(1) HDFSのNameNodeをWeb側で見る

①ブラウザで入力：http://hadoop102:9870

②HDFSに保存されたデータ情報を閲覧する

(2) YARNのResourceManagerをWeb側で見る

①ブラウザで入力：http://hadoop103:8088

②YARN上で動作するジョブ情報を確認する

3.3 履歴サーバーの構成

プログラムの履歴操作を表示するには、履歴サーバーを構成する必要があります。具体的な構成手順は次のとおりです。

1) mapred-site.xml を構成する

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

このファイルに次の構成を追加します。

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

2) 配信構成

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3) hadoop102 で履歴サーバーを起動します。

[atguigu@hadoop102 hadoop]$ mapred --daemon start historyserver

4) 履歴サーバーが起動しているかどうかを確認します

[atguigu@hadoop102 hadoop]$ jps

5)ジョブ履歴を表示

http://hadoop102:19888/jobhistory

3.4 ログ集計の構成

ログ集計の概念: アプリケーションが実行された後、ログ情報を実行しているプログラムが HDFS システムにアップロードされます。

ログ集計機能のメリット：プログラムの動作詳細が見やすく、開発やデバッグに便利です。

注: ログ集計機能を有効にするには、NodeManager、ResourceManager、および HistoryServer を再起動する必要があります。

ログ集計機能を有効にする具体的な手順は次のとおりです。

1) yarn-site.xml を構成する

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

このファイルに次の構成を追加します。

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2) 配信構成

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3) NodeManager、ResourceManager、および HistoryServer を閉じます。

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguigu@hadoop102 hadoop-3.1.3]$ mapred --daemon stophistoryserver

4) NodeManager、ResourceManage、および HistoryServer を開始します。

[atguigu@hadoop103 ~]$ start-yarn.sh
[atguigu@hadoop102 ~]$mapred --daemon start historyserver

5)ログを見る

履歴サーバー アドレスの履歴タスクのリスト

http://hadoop102:19888/jobhistory

3.5 共通ポート番号の説明

ポート名

Hadoop2.x

Hadoop3.x

NameNode 内部通信ポート

8020/9000

8020/9000/9820

NameNode HTTP UI

50070

9870

MapReduce ビュー実行タスク ポート

8088

8088

履歴サーバー通信ポート

19888

19888

3.6 クラスタの時刻同期

如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；

如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。

1）需求

找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果，采用1分钟同步一次。

2）时间服务器配置（必须root用户）

（1）查看hadoop102服务状态和开机自启动状态（如果开着就关掉）

[atguigu@hadoop102 ~]$ sudo systemctl status ntpd
[atguigu@hadoop102 ~]$ sudo systemctl is-enabled ntpd
# 关闭
[atguigu@hadoop102 ~]$ sudo systemctl disabled ntpd

（2）修改hadoop102的ntp.conf配置文件

[atguigu@hadoop102 ~]$ sudo vim /etc/ntp.conf

修改内容如下:

①修改1（授权192.168.10.0-192.168.10.255网段上的所有机器可以从这台机器上查询和同步时间）
#restrict192.168.1.0 mask 255.255.255.0 nomodify notrap
====> 将上面的注释去掉（并将192.168.1.0改成192.168.10.0）
restrict 192.168.10.0 mask255.255.255.0 nomodify notrap

 ②修改2（集群在局域网中，不使用其他互联网上的时间）
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
====> 给上面的内容添加注释
#server0.centos.pool.ntp.org iburst
#server1.centos.pool.ntp.org iburst
#server2.centos.pool.ntp.org iburst
#server3.centos.pool.ntp.org iburst

③添加3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）
server 127.127.1.0
fudge 127.127.1.0 stratum 10

（3）修改hadoop102的/etc/sysconfig/ntpd 文件

[atguigu@hadoop102 ~]$ sudo vim /etc/sysconfig/ntpd

增加内容如下（让硬件时间与系统时间一起同步）

SYNC_HWCLOCK=yes

（4）重新启动ntpd服务

[atguigu@hadoop102 ~]$ sudo systemctl start ntpd

（5）设置ntpd服务开机启动

[atguigu@hadoop102 ~]$ sudo systemctl enable ntpd

3）其他机器配置（必须root用户）

（1）关闭所有节点上ntp服务和自启动

[root@hadoop103 ~]$ systemctl stop ntpd
[root@hadoop103 ~]$ systemctl disable ntpd
 
[root@hadoop104 ~]$ systemctl stop ntpd
[root@hadoop104 ~]$ systemctl disable ntpd

（2）在其他机器配置1分钟与时间服务器同步一次

[root@hadoop103 ~]$ sudo crontab -e

编写定时任务如下：

*/1 * * * * /usr/sbin/ntpdate hadoop102

（3）修改任意机器时间

[root@hadoop103 ~]$ date -s "2021-9-1111:11:11"

（4）1分钟后查看机器是否与时间服务器同步

[root@hadoop103 ~]$ date

4. Hadoop常用网址

  • Web端查看HDFS的NameNode：

  • 查看HDFS上存储的数据信息

  • Web端查看YARN的ResourceManager

  • 查看YARN上运行的Job信息

  • 查看JobHistory

おすすめ

転載: blog.csdn.net/m0_57126939/article/details/129170103
おすすめ
ランキング
Web側のオンラインクラウド編集ソリューション
2つのシナリオでのJVMチューニングケース（基本テンプレートの概要-G1）-ピット概要ハイライト21を踏む（週に1回更新）
Node Sass は現在の環境のバインディングを見つけることができませんでした
RabbitMQのコマンドラインの使用方法は、手動でキューrabbitmqadminを作成します
币圈韭菜十大致命操作（八）热爱幻想，无视现实
Wide Face+YOLOV7 顔検出
shrioの研究ノート
Eclipseは「：不明なMavenの設定の問題」を示します
6512. [3.18] GDOI2020シミュレーションツリーとパス
不像总结的总结
アーカイブ
もっと
2024-05-07(34)
2024-05-06(6)
2024-05-05(0)
2024-05-04(18)
2024-05-03(8)
2024-05-02(0)
2024-05-01(4)
2024-04-30(35)
2024-04-29(5)
2024-04-28(12)

コードワールド

© 2018 codetd.com