Hadoopとクラスター構築テストの概要（1）

その他 2021-03-22 00:38:36 訪問数: null

Hadoopには4つの利点があります。

（1）高可用性：Hadoopは下部にデータの複数のコピーを保持するため、Hadoopでコンピューティング要素またはストレージに障害が発生しても、データが失われることはありません。

（2）高いスケーラビリティ：クラスター間でタスクデータを割り当てます。これにより、数千のノードを簡単に拡張できます。

（3）効率：MapReduceのアイデアの下で、Hadoopは並行して動作し、タスク処理を高速化します

（4）高いフォールトトレランス：失敗したタスクを自動的に再配布できます。

Hadoop構成：

HDFSアーキテクチャの概要：

Hadoop分散ファイルシステム（略してHDFS）は、分散ファイルシステムです。

（1）NameNode（nn）：ファイル名、ファイルディレクトリ構造、ファイル属性（生成時間、コピー数、ファイル権限）などのファイルのメタデータ、および各ファイルのブロックリストとDataNodeを格納します。ブロックが配置されているなど。

2）DataNode（dn）：ファイルブロックデータをローカルファイルシステムに保存し、ブロックデータのチェックサムも保存します

3）セカンダリNameNode（2nn）：定期的なNameNodeメタデータバックアップの
YARNアーキテクチャの概要：

さらに別のリソースネゴシエーター（略してYARN）は、Hadoopのリソースマネージャーである別のリソースコーディネーターです。

MapReduceアーキテクチャの概要MapReduceは、計算プロセスをMapとReduceの2つの段階に分割します。

1）マップフェーズでの入力データの並列処理

2）マップの結果をReduceフェーズで要約します

HDFS、YARN、およびMapReduceの関係：

ビッグデータテクノロジーエコシステム：

 1）Sqoop：Sqoopはオープンソースツールであり、主にHadoop、Hive、および従来のデータベース（MySQL）間でデータを転送するために使用されます。リレーショナルデータベース（MySQL、Oracleなど）からHDFSにデータをインポートできます。 Hadoopの場合、HDFSデータをリレーショナルデータベースにインポートすることもできます。

2）Flume：Flumeは、大量のログ収集、集約、および送信のための高可用性、信頼性の高い分散システムです。Flumeは、データを収集するためにログシステム内のさまざまなデータ送信者のカスタマイズをサポートします。

3）Kafka：Kafkaは、高スループットの分散パブリッシュ/サブスクライブメッセージングシステムです。

4）Spark：Sparkは、現在最も人気のあるオープンソースのビッグデータメモリコンピューティングフレームワークです。Hadoopに保存されているビッグデータに基づいて計算できます。

5）Flink：Flinkは、現在最も人気のあるオープンソースのビッグデータメモリコンピューティングフレームワークです。リアルタイム計算には多くのシナリオがあります。

6）Oozie：Oozieは、Hadoopジョブを管理するためのワークフロースケジューリング管理システムです。

7）HBase：HBaseは、分散型の列指向のオープンソースデータベースです。HBaseは、一般的なリレーショナルデータベースとは異なり、非構造化データストレージに適したデータベースです。

8）Hive：Hiveは、Hadoopに基づくデータウェアハウスツールです。構造化データファイルをデータベーステーブルにマップし、単純なSQLクエリ関数を提供できます。SQLステートメントは、操作のためにMapReduceタスクに変換できます。その利点は、学習コストが低く、SQLのようなステートメントを使用して単純なMapReduce統計をすばやく実現でき、特別なMapReduceアプリケーションを開発する必要がなく、データウェアハウスの統計分析に非常に適していることです。

9）ZooKeeper：大規模な分散システム向けの信頼性の高い調整システムです。提供される機能には、構成の保守、ネームサービス、分散同期、グループサービスなどがあります。

Hadoopの動作環境の構築

（1）テンプレート仮想マシン、IPアドレス192.168.10.100、ホスト名hadoop100、メモリ4G、ハードディスク100Gをインストールします

（2）epel-releaseをインストールします

（3）ファイアウォールをオフにします

（4）yhdユーザーを作成します

（5）root権限を持つようにyhdユーザーを構成すると、sudoは後で簡単に実行できます

（6）ソフトウェアパッケージと解凍されたプログラムを保存するためのモジュールとソフトウェアフォルダを作成します

（7）/ optディレクトリの下の下位グループと所有者を変更します

（8）仮想マシンに付属のjdkをアンインストールします

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

仮想マシンのクローン作成：hadoop102 hadoop103 hadoop104

クローン作成のテンプレートとしてhadoop100を使用します。次に、hadoop102を例として取り上げ、構成を次のように変更します。

（1）IPアドレスを変更します（nmtuiまたはvim / etc / sysconfig / network-scripts / ifcfg-ens32）

（2）ホスト名を変更します（hostnamectl set-hostname hadoop102）

（3）ホスト名マッピング/ etc / hostsを変更します

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
:: 1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
（4）Windowsホストファイルを変更し、マッピングホスト情報をホストリベラルアーツに追加します。

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

（5）Hadoop102sは、jdkとHadoopをアップロード、解凍、インストールします

[yhd@hadoop102 software]$ ll
total 520600
-rw-r--r--. 1 yhd yhd 338075860 Feb 24 09:00 hadoop-3.1.3.tar.gz
-rw-r--r--. 1 yhd yhd 195013152 Feb 24 09:09 jdk-8u212-linux-x64.tar.gz
[yhd@hadoop102 software]$ ll ../module/
total 0
drwxr-xr-x. 13 yhd yhd 204 Mar 20 19:56 hadoop-3.1.3
drwxr-xr-x.  7 yhd yhd 245 Apr  2  2019 jdk1.8.0_212

（6）環境変数を構成し、それらを有効にするためにそれらを調達します

[yhd@hadoop102 ~]$ vim /etc/profile.d/my_env.sh 
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
[yhd@hadoop102 ~]$ source  /etc/profile.d/my_env.sh

（7）試験が有効かどうか

（8）Hadoopのディレクトリ構造を表示する

[yhd@hadoop102 hadoop-3.1.3]$ ll
total 180
drwxr-xr-x. 2 yhd yhd    183 Sep 12  2019 bin
drwxrwxr-x. 4 yhd yhd     37 Mar 20 19:57 data
drwxr-xr-x. 3 yhd yhd     20 Sep 12  2019 etc
drwxr-xr-x. 2 yhd yhd    106 Sep 12  2019 include
drwxr-xr-x. 3 yhd yhd     20 Sep 12  2019 lib
drwxr-xr-x. 4 yhd yhd    288 Sep 12  2019 libexec
-rw-rw-r--. 1 yhd yhd 147145 Sep  4  2019 LICENSE.txt
drwxrwxr-x. 3 yhd yhd   4096 Mar 20 19:57 logs
-rw-rw-r--. 1 yhd yhd  21867 Sep  4  2019 NOTICE.txt
-rw-rw-r--. 1 yhd yhd   1366 Sep  4  2019 README.txt
drwxr-xr-x. 3 yhd yhd   4096 Sep 12  2019 sbin
drwxr-xr-x. 4 yhd yhd     31 Sep 12  2019 share

重要なカタログ

（1）binディレクトリ：Hadoop関連サービス（hdfs、yarn、mapred）を操作するためのスクリプトを格納します

（2）etcディレクトリ：Hadoop構成ファイルディレクトリ。Hadoop構成ファイルを格納します。

（3）libディレクトリ：Hadoopローカルライブラリを保存します（データの圧縮と解凍）

（4）sbinディレクトリ：Hadoop関連サービスを開始または停止するためのスクリプトを保存します

（5）共有ディレクトリ：Hadoopに依存するjarパッケージ、ドキュメント、および公式ケースを保存します

（9）クロック同期（ntp）を構成し、電源投入後に自動開始を設定します

（10）SSHパスワードなしのログイン構成

yhdユーザーとrootユーザーの両方が公開鍵を配布する必要があります

（11）xsyncクラスター配布スクリプト

[yhd@hadoop102 ~]$ mkdir bin
[yhd@hadoop102 ~]$ cd bin
[yhd@hadoop102 bin]$ vim xsync 
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi 
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
 echo ==================== $host ====================
 #3. 遍历所有目录，挨个发送
 for file in $@
 do
 #4. 判断文件是否存在
 if [ -e $file ]
 then
 #5. 获取父目录
 pdir=$(cd -P $(dirname $file); pwd)
 #6. 获取当前文件的名称
 fname=$(basename $file)
 ssh $host "mkdir -p $pdir"
 rsync -av $pdir/$fname $host:$pdir
 else
 echo $file does not exists!
 fi
 done
done

（12）権限を与えて実行する

（13）/ opt /ソフトウェアパッケージ、解凍ファイル、および構成情報のコピーを103および104に配布し、確認します。

Hadoopクラスター構成

1.クラスター展開計画

（1）NameNodeとSecondaryNameNodeを同じサーバーにインストールしないでください

（2）ResourceManagerもメモリを消費します。NameNodeおよびSecondaryNameNodeと同じマシンで構成しないでください。

2.構成ファイルの説明

Hadoop構成ファイルは、デフォルト構成ファイルとカスタム構成ファイルの2つのカテゴリーに分けられます。ユーザーが特定のデフォルト構成値を変更する場合にのみ、カスタム構成ファイルを変更し、対応する属性値を変更する必要があります。

デフォルトの構成ファイル：

カスタム構成ファイル：

          4つの構成ファイルcore-site.xml、hdfs-site.xml、yarn-site.xml、およびmapred-site.xmlはパス$ HADOOP_HOME / etc / hadoopに格納されており、ユーザーは次のように構成を再度変更できます。プロジェクトの要件。

(1) 配置 core-site.xml

<configuration>
  <!-- 指定 NameNode 的地址 -->
   <property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop102:8020</value>
   </property>
   <!-- 指定 hadoop 数据的存储目录 -->
   <property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/module/hadoop-3.1.3/data</value>
   </property>

</configuration>

（2）hdfs-site.xmlを構成します

<configuration>

<!-- nn web 端访问地址-->
<property>
 <name>dfs.namenode.http-address</name>
 <value>hadoop102:9870</value>
 </property>
<!-- 2nn web 端访问地址-->
 <property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>hadoop104:9868</value>
 </property>

</configuration>

（3）配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 指定 MR 走 shuffle -->
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定 ResourceManager 的地址-->
 <property>
 <name>yarn.resourcemanager.hostname</name>
 <value>hadoop103</value>
 </property>
 <!-- 环境变量的继承 -->
 <property>
 <name>yarn.nodemanager.env-whitelist</name>

<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
 </property>
</configuration>

(4) 配置 mapred-site.xml

<configuration>

<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>

</configuration>

（5）ワークファイルを設定します

[root@hadoop102 hadoop]# vim workers 

hadoop102
hadoop103
hadoop104

 （6）構成済みのHadoop構成ファイルをクラスターに配布します 

[yhd@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc
==================== hadoop102 ====================
sending incremental file list

sent 910 bytes  received 19 bytes  1,858.00 bytes/sec
total size is 107,468  speedup is 115.68
==================== hadoop103 ====================
sending incremental file list
etc/
etc/hadoop/
etc/hadoop/workers

sent 993 bytes  received 54 bytes  2,094.00 bytes/sec
total size is 107,468  speedup is 102.64
==================== hadoop104 ====================
sending incremental file list
etc/
etc/hadoop/
etc/hadoop/workers

sent 993 bytes  received 54 bytes  698.00 bytes/sec
total size is 107,468  speedup is 102.64
[yhd@hadoop102 hadoop]$

（7）検証ビュー

（8）クラスターを開始します

      1.クラスターを初めて起動する場合は、hadoop102ノードでNameNodeをフォーマットする必要があります（注：NameNodeをフォーマットすると、新しいクラスターIDが生成され、NameNodeとDataNodeの間でクラスターIDの一貫性が失われ、クラスターはできません。過去のデータを検索します。クラスターが存在する場合操作中にエラーが報告され、NameNodeを再フォーマットする必要がある場合は、最初にnamenodeおよびdatanodeプロセスを停止し、フォーマットする前にすべてのマシンのデータおよびログディレクトリを削除する必要があります）

[yhd@hadoop102 hadoop-3.1.3]$ hdfs namenode -format
WARNING: /opt/module/hadoop-3.1.3/logs does not exist. Creating.
2021-03-20 19:56:01,526 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = hadoop102/192.168.10.102
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 3.1.3
STARTUP_MSG:   classpath = /opt/module/hadoop-3.1.3/etc/hadoop:/opt/module/hadoop-3.1.3/share/hadoop/common/lib/accessors-smart-1.2.jar:/opt/module/hadoop-3.1.3/share/hadoop/common/lib/animal-sniffer-annotations-1.17.j

       2.hdfsを起動します

[yhd@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh 
Starting namenodes on [hadoop102]
Starting datanodes
hadoop103: WARNING: /opt/module/hadoop-3.1.3/logs does not exist. Creating.
hadoop104: WARNING: /opt/module/hadoop-3.1.3/logs does not exist. Creating.
Starting secondary namenodes [hadoop104]
[yhd@hadoop102 hadoop-3.1.3]$ jps
12433 DataNode
12660 Jps
12266 NameNode

      3.糸を開始します（hadoop103内）

[yhd@hadoop103 hadoop]$ sbin/start-yarn.sh
[yhd@hadoop103 hadoop]$ jps
11762 Jps
9801 DataNode
9993 ResourceManager
10126 NodeManager

     4.Web上でHDFSNameNodeを表示します

    5.Web側でYARNResourceManagerを表示します 

（9）クラスターテスト

クラスターにファイルをアップロードする

[yhd@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input
2021-03-20 19:58:39,234 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
[yhd@hadoop102 ~]$hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /
2021-03-20 19:59:22,656 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2021-03-20 19:59:24,974 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false

  6.ファイルをアップロードした後、ファイルが保存されている場所を確認します

[yhd@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-510334103-192.168.10.102-1616241362316/current/finalized/subdir0/subdir0
[yhd@hadoop102 subdir0]$ ll
total 192208
-rw-rw-r--. 1 yhd yhd        46 Mar 20 19:58 blk_1073741825
-rw-rw-r--. 1 yhd yhd        11 Mar 20 19:58 blk_1073741825_1001.meta
-rw-rw-r--. 1 yhd yhd 134217728 Mar 20 19:59 blk_1073741826
-rw-rw-r--. 1 yhd yhd   1048583 Mar 20 19:59 blk_1073741826_1002.meta
-rw-rw-r--. 1 yhd yhd  60795424 Mar 20 19:59 blk_1073741827
-rw-rw-r--. 1 yhd yhd    474975 Mar 20 19:59 blk_1073741827_1003.meta
-rw-rw-r--. 1 yhd yhd        38 Mar 20 20:04 blk_1073741834
-rw-rw-r--. 1 yhd yhd        11 Mar 20 20:04 blk_1073741834_1010.meta
-rw-rw-r--. 1 yhd yhd       439 Mar 20 20:04 blk_1073741835
-rw-rw-r--. 1 yhd yhd        11 Mar 20 20:04 blk_1073741835_1011.meta
-rw-rw-r--. 1 yhd yhd     25306 Mar 20 20:04 blk_1073741836
-rw-rw-r--. 1 yhd yhd       207 Mar 20 20:04 blk_1073741836_1012.meta
-rw-rw-r--. 1 yhd yhd    214462 Mar 20 20:04 blk_1073741837
-rw-rw-r--. 1 yhd yhd      1683 Mar 20 20:04 blk_1073741837_1013.meta
[yhd@hadoop102 subdir0]$

  7.ディスク上のHDFSに保存されているファイルの内容を表示します

[yhd@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce
atguigu
atguigu

 8.ワードカウントプログラムを実行します

[yhd@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
2021-03-20 20:03:51,652 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032
2021-03-20 20:03:52,181 INFO mapreduce.JobResourceUploader: Disabling Erasure Coding for path: /tmp/hadoop-yarn/staging/yhd/.staging/job_1616241436786_0001
2021-03-20 20:03:52,272 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2021-03-20 20:03:52,407 INFO input.FileInputFormat: Total input files to process : 1
2021-03-20 20:03:52,435 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false

   9.コンピューティングサービスの運用を表示する

10.hdfsにデータがあるかどうかを確認します

11.履歴サーバーを構成します（上記の履歴サーバーは構成されていないため、履歴のクリックによるジャンプは失敗します）

[yhd @ hadoop102 hadoop] $ vimmapred-site.xmlを編集します 

<configuration>

<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
<!-- 历史服务器端地址 -->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>hadoop102:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>hadoop102:19888</value>
</property>
</configuration>

配布構成

[yhd@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml 
==================== hadoop102 ====================
sending incremental file list

sent 64 bytes  received 12 bytes  152.00 bytes/sec
total size is 1,170  speedup is 15.39
==================== hadoop103 ====================
sending incremental file list
mapred-site.xml

sent 585 bytes  received 47 bytes  1,264.00 bytes/sec
total size is 1,170  speedup is 1.85
==================== hadoop104 ====================
sending incremental file list
mapred-site.xml

sent 585 bytes  received 47 bytes  1,264.00 bytes/sec
total size is 1,170  speedup is 1.85
[yhd@hadoop102 hadoop]$

hadoop102で履歴サーバーを起動します

[yhd@hadoop102 hadoop-3.1.3]$ bin/mapred --daemon start historyserver
[yhd@hadoop102 hadoop-3.1.3]$ jps
12433 DataNode
15666 JobHistoryServer
12266 NameNode
12733 NodeManager
15725 Jps

新しい仕事

[yhd@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output1
2021-03-20 22:33:14,973 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032
2021-03-20 22:33:16,139 INFO mapreduce.JobResourceUploader: Disabling Erasure Coding for path: /tmp/hadoop-yarn/staging/yhd/.staging/job_1616241436786_0002
2021-03-20 22:33:16,274 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2021-03-20 22:33:17,351 INFO input.FileInputFormat: Total input files to process : 1
2021-03-20 22:33:17,405 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2021-03-20 22:33:17,586 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2021-03-20 22:33:17,664 INFO mapreduce.JobSubmitter: number of splits:1

hdfsページを表示

履歴サーバーが使いやすいかどうかをもう一度テストします

次のようにログプロンプトをクリックします。ログ集計関数を構成する必要があります

ログ集約を構成する

ログ集約の概念：アプリケーションが完了したら、プログラム操作ログ情報をHDFSシステムにアップロードします

ログ集計機能のメリット：プログラムの実行内容を簡単に確認できるため、開発やデバッグに便利です。

ログ集計機能を有効にするには、NodeManager、ResourceManager、HistoryServerを再起動する必要があります

    配置 [yhd@hadoop102 hadoop]$ vim yarn-site.xml

<!-- 开启日志聚集功能 -->
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property> 
 <name>yarn.log.server.url</name> 
 <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>604800</value>
</property>

他の2つのサーバーに配布する

[yhd@hadoop102 hadoop]$ xsync yarn-site.xml 
==================== hadoop102 ====================
sending incremental file list

sent 62 bytes  received 12 bytes  148.00 bytes/sec
total size is 1,621  speedup is 21.91
==================== hadoop103 ====================
sending incremental file list
yarn-site.xml

sent 1,034 bytes  received 47 bytes  720.67 bytes/sec
total size is 1,621  speedup is 1.50
==================== hadoop104 ====================
sending incremental file list
yarn-site.xml

sent 1,034 bytes  received 47 bytes  720.67 bytes/sec
total size is 1,621  speedup is 1.50

102の履歴サーバープロセスを閉じます

[yhd@hadoop102 hadoop-3.1.3]$ mapred --daemon stop historyserver
[yhd@hadoop102 hadoop-3.1.3]$ jps
12433 DataNode
16617 Jps
12266 NameNode
12733 NodeManager

'103の糸プロセスを閉じます

[yhd@hadoop103 hadoop-3.1.3]$ jps
12531 Jps
9801 DataNode
9993 ResourceManager
10126 NodeManager
[yhd@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh 
Stopping nodemanagers
hadoop102: WARNING: nodemanager did not stop gracefully after 5 seconds: Trying to kill with kill -9
hadoop104: WARNING: nodemanager did not stop gracefully after 5 seconds: Trying to kill with kill -9
Stopping resourcemanager

103で糸を開始します

[yhd@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh 
Starting resourcemanager
Starting nodemanagers
[yhd@hadoop103 hadoop-3.1.3]$ jps
12913 ResourceManager
13046 NodeManager
9801 DataNode
13391 Jps

102で履歴サーバーを起動します

[yhd@hadoop102 hadoop-3.1.3]$ mapred --daemon start historyserver
[yhd@hadoop102 hadoop-3.1.3]$ jps
12433 DataNode
17029 Jps
16969 JobHistoryServer
12266 NameNode
16797 NodeManager

次のように、新しいタスクを実行して確認および検証します。

[yhd@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output2
2021-03-20 22:55:55,213 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032
2021-03-20 22:55:55,683 INFO mapreduce.JobResourceUploader: Disabling Erasure Coding for path: /tmp/hadoop-yarn/staging/yhd/.staging/job_1616251848467_0001
2021-03-20 22:55:55,764 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false

まず、dnfsで成功するかどうかを確認します

タスクのスケジューリング操作をもう一度見てください

ログプロセスをクリックして表示します

おすすめ

転載: blog.csdn.net/yanghuadong_1992/article/details/115034152
おすすめ
ランキング
欲張りアルゴリズムLeetcode45ジャンプゲームの証明プロセス
Résumé des outils couramment utilisés pour l'acoustique et l'informatique musicale (soundfile, librosa, pydub, madmom, spleeter)
OpenCVの。コンセプト
直接公式招待コード88886981の下ダイハツ
ミリ秒の形式に現在時刻を取得するJava
umijs/plugin-qiankun (vue+umi) に基づくマイクロフロントエンド構成
クローン化されたカードからLinux仮想マシンは、eth1にはeth0になり
10G SFP + 10G XFP光モジュール及び光モジュール
DevExpressがDateEditを設定して年、月、四半期を表示
Mavenがローカルに外部jarパッケージをインポートする
アーカイブ
もっと
2024-05-19(0)
2024-05-18(30)
2024-05-17(6)
2024-05-16(24)
2024-05-15(5)
2024-05-14(9)
2024-05-13(8)
2024-05-12(27)
2024-05-11(31)
2024-05-10(33)

コードワールド

© 2018 codetd.com