前回の記事の案内後、友達は既に以下の操作ができると思います
まず第一に、我々は、変更するには、configure疑似分散クラスタ構成ファイルに知っておく必要がある
すべての設定ファイルである/opt/module/hadoop-2.7.2/etc/hadoop/内
- 1. HDFS構成ファイル
| シリアル番号 | ファイル名 |
|---|---|
| 01 | hadoop-env.sh |
| 02 | core-site.xml |
| 03 | hdfs-site.xml |
- 2. YARN構成ファイル
| シリアル番号 | ファイル名 |
|---|---|
| 01 | ヤーン-env.sh |
| 02 | 糸サイト.xml |
| 03 | mapred-env.sh |
- 3.履歴サーバーを構成する
| シリアル番号 | ファイル名 |
|---|---|
| 01 | mapred-site.xml |
- 4.ログ集計を構成する
| シリアル番号 | ファイル名 |
|---|---|
| 01 | 糸サイト.xml |
1. HDFSを起動します
1.クラスターを構成する
- 1.設定：hadoop-env.sh
①LinuxシステムでのJDKのインストールパスを取得します（パスを覚えている場合は省略できます）。
[bigdata@hadoop001 ~]$ echo $JAVA_HOME
/opt/module/jdk1.8.0_144
以下は、JAVA_HOMEパスを変更する必要があります。
export JAVA_HOME=/opt/module/jdk1.8.0_144
- 2. 配置：core-site.xml
[bigdata@hadoop001 hadoop]$ vim core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop001:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
- 3. hdfs-site.xml
[bigdata@hadoop001 hadoop]$ vim hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
2.クラスターを起動します
- 1。NameNodeのフォーマット（最初のブート用にフォーマットします。後でフォーマットする必要はありません）
[bigdata@hadoop001 hadoop-2.7.2]$ bin/hdfs namenode -format
上記と同じです。
- 2. NaneNodeとDataNodeをそれぞれ起動します
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
3.クラスターを表示する
- 1.起動が成功したかどうかを確認します
- 注：jpsはJDKのコマンドであり、Linuxコマンドではありません。JDKをインストールしないとjpsを使用できません
- 2. WebでHDFSファイルシステムを表示します
http：// hadoop001：50070 / dfshealth.html＃tab-overview
- 3.ログログの表示
日常生活でバグに遭遇した場合、ログプロンプトに従って問題を分析し、バグを解決することがよくあります。
現在のディレクトリ：/opt/module/hadoop-2.7.2/logs
[bigdata@hadoop001 logs]$ ll
# 下面的为日志文件
总用量 220
-rw-rw-r--. 1 bigdata bigdata 82138 4月 21 02:38 hadoop-bigdata-datanode-hadoop001.log
-rw-rw-r--. 1 bigdata bigdata 719 4月 21 02:38 hadoop-bigdata-datanode-hadoop001.out
-rw-rw-r--. 1 bigdata bigdata 719 4月 21 02:28 hadoop-bigdata-datanode-hadoop001.out.1
-rw-rw-r--. 1 bigdata bigdata 111269 4月 21 02:38 hadoop-bigdata-namenode-hadoop001.log
-rw-rw-r--. 1 bigdata bigdata 719 4月 21 02:38 hadoop-bigdata-namenode-hadoop001.out
-rw-rw-r--. 1 bigdata bigdata 719 4月 21 02:36 hadoop-bigdata-namenode-hadoop001.out.1
-rw-rw-r--. 1 bigdata bigdata 719 4月 21 02:30 hadoop-bigdata-namenode-hadoop001.out.2
-rw-rw-r--. 1 bigdata bigdata 719 4月 21 02:28 hadoop-bigdata-namenode-hadoop001.out.3
-rw-rw-r--. 1 bigdata bigdata 0 4月 21 02:28 SecurityAuth-bigdata.audit
[bigdata@hadoop001 logs]$ cat hadoop-bigdata-datanode-hadoop001.log
2. YARNを起動します
1.クラスターを構成する
- 1.
JAVA_HOME を変更するようにyarn-env.shを構成します
[bigdata@hadoop001 hadoop]$ vim yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
- 2. 配置yarn-site.xml
[bigdata@hadoop001 hadoop]$ yarn-site.xml
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>2</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop001</value>
</property>
- 3.設定：mapred-env.sh
がJAVA_HOMEを変更します
export JAVA_HOME=/opt/module/jdk1.8.0_144
- 4.設定：（mapred-site.xml.templateの名前を変更）mapred-site.xml
[bigdata@hadoop001 hadoop]$ mv mapred-site.xml.template mapred-site.xml
[bigdata@hadoop001 hadoop]$ vim mapred-site.xml
<!-- 指定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
2.クラスターを起動します
- 1.開始する前にNameNodeとDataNodeが開始されていることを確認します
- 2. ResourceManagerとNodeManagerをそれぞれ起動します
# 启动服务
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-bigdata-resourcemanager-hadoop001.out
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-bigdata-nodemanager-hadoop001.out
# 查看是否启动成功
[bigdata@hadoop001 hadoop-2.7.2]$ jps
3414 DataNode
3993 ResourceManager
3722 NodeManager
3327 NameNode
4159 Jps
3.ウェブで見る
YARNのブラウザーページで表示：http：// hadoop001：8088 /クラスター
3.履歴サーバーを構成する
プログラムの履歴を表示する場合は、履歴サーバーを構成する必要があります。具体的な構成手順は次のとおりです。
1. 配置mapred-site.xml
[bigdata@hadoop001 hadoop]$ vim mapred-site.xml
# 在该文件里面增加如下配置。
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop001:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop001:19888</value>
</property>
2.履歴サーバーを起動します
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver
3.履歴サーバーが起動しているかどうかを確認する
[bigdata@hadoop001 hadoop-2.7.2]$ jps
4304 JobHistoryServer
26210 Jps
3414 DataNode
3993 ResourceManager
3327 NameNode
4495 NodeManager
4.履歴サーバーがWeb上で起動しているかどうかを確認します
http：// hadoop001：19888 / jobhistory
4.ログ集計を構成する
ログ集計の概念：アプリケーションが完了したら、プログラム操作ログ情報をHDFSシステムにアップロードします。
ログ集計機能のメリット：プログラムの動作詳細を簡単に確認でき、開発やデバッグに便利です。
注：ログ集約機能を有効にするには、NodeManager、ResourceManager、およびHistoryManagerを再起動する必要があります。
ログ集約機能を有効にするための具体的な手順は次のとおりです。
1. 配置yarn-site.xml
[bigdata@hadoop001 hadoop]$ vim yarn-site.xml
# 在该文件里面增加如下配置。
<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
2. NodeManager、ResourceManager、およびHistoryServerを閉じます。
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager
stopping resourcemanager
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
stopping nodemanager
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver
stopping historyserver
3. NodeManager、ResourceManager、HistoryServerを起動します
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-bigdata-resourcemanager-hadoop001.out
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-bigdata-nodemanager-hadoop001.out
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to /opt/module/hadoop-2.7.2/logs/mapred-bigdata-historyserver-hadoop001.out
4. HDFSに既に存在する出力ファイルを削除します（実行されていない場合は、この手順をスキップできます）。
[bigdata@hadoop001 hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/bigdata/output
5. WordCountプログラムを実行します
# 如果没有input 可先创建
[bigdata@hadoop001 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p /user/bigdata/input
# 运行程序
[bigdata@hadoop001 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/bigdata/input /user/bigdata/output
6.ログを表示する
http：// hadoop001：19888 / jobhistory
- 1.職歴
- 2.ジョブの実行ステータス
- 3.ログを表示する
親愛なる友人、何かを学ぶことができると思う場合は、行く前にそれを気に入ってください。通り過ぎる兄のコメントへようこそ。間違いを修正し、コメントやプライベートメッセージを残すことができない友人を歓迎します。小さな友達の注目はすべて私のブログを更新する動機です！！！
