2020-04-15
前回の記事では、Linux仮想マシンのインストール、Hadoopのインストールと構成について紹介しました。ここでは、前回の記事の内容、Hadoopの簡単な紹介と簡単な使用法について説明します。
1.まず、Hadoopディレクトリを理解します。
（ 1 ） bin ディレクトリ：Hadoop 関連のサービス（HDFS、YARN ）で動作するスクリプトを格納します
（ 2 ）などのディレクトリ：Hadoopの設定ファイルディレクトリ、格納されているのHadoop 設定ファイル
（ 3 ） lib ディレクトリ：Hadoop のローカルライブラリを格納します（データの圧縮と解凍）
（ 4 ）sbin ディレクトリ：Hadoop 関連のサービスを開始または停止するためのスクリプトを保存します
（ 5 ）共有ディレクトリ：Hadoopに依存するjar パッケージ、ドキュメント、公式ケースを保存します
2. Hadoopの操作モードを理解します。
Hadoopには3つのインストールモードが含まれます
（1）スタンドアロンモード。1台のマシンでのみ実行され、ストレージはローカルファイルシステムを採用し、分散ファイルシステムHDFS
（2）疑似分散モードを採用しません。ストレージは分散ファイルシステムHDFSを採用していますが、HDFSのネームノードとデータノードは同じマシン上にあり
ます（3）分散モード。ストレージは分散ファイルシステムHDFSを使用し、HDFSの名前ノードとデータノードは異なるマシン上にあります。
Linux仮想マシンにHadoopをインストールすると、デフォルトでスタンドアロンモードになり、追加の構成なしで実行できます。
Hadoopを疑似分散モードでスムーズに実行したい場合は、関連ファイルを構成する必要があります。
疑似分散モード：
Hadoopは単一ノード（1台のマシン）で疑似分散方式で実行でき、同じノードが名前ノード（名前ノード）として機能します。
また、データノード（データノード）として、分散ファイルシステムHDFS内のファイルを読み取ります。
3.疑似分散モードの構成変更
Hadoopの構成ファイルは、hadoop / etc / hadoop /にあります。疑似分散モードで構成する場合、core-site.xmlとhdfs-site.xmlの2つの構成ファイルを変更する必要があります。
vimエディターを使用して、core-site.xmlファイルを開くことができます。
（ A ）構成：hadoop-env.sh
Linux システムでのJDK のインストールパスを取得します。
[guan @ hadoop101〜]＃echo $ JAVA_HOME
/opt/module/jdk1.8.0_144
JAVA_HOME パスを変更します。
エクスポートJAVA_HOME = / opt / module / jdk1.8.0_144
（b）配置：core-site.xml
| <！ - 指定HDFS で名前ノードのアドレス- > <プロパティ> <name> fs.defaultFS </ name> <値> hdfs：// hadoop101：9000 </ value> </プロパティ>
<！- Hadoopの実行中に生成されるファイルのストレージディレクトリを指定します- > <プロパティ> <name> hadoop.tmp.dir </ name> <値> /opt/module/hadoop-2.7.2/data/tmp </ value> </プロパティ> |
（ C ）構成：hdfs-site.xml
| <！- HDFSコピーの数を指定 - > <プロパティ> <name> dfs.replication </ name> <値> 1 </値> </プロパティ> |
構成ファイルを変更した後、ノード名をフォーマットします。コマンドは次のとおりです。
[guan @ hadoop101 hadoop-2.7.2] $ bin / hdfs namenode -format
[注意] 初めて起動するときにフォーマットします。後でフォーマットする必要はありません。
フォーマットしたい場合は、フォーマットする前に：
1. NameNodeおよびDataNodeプロセスがオフになっているかどうかを確認します。（オフにする必要があります）
シャットダウンコマンド：sbin / hadoop-daemon.sh stop namenode
sbin / hadoop-daemon.sh stop datanode
2. /データと/ログを削除する
3. NameNodeのフォーマット
4.疑似分散クラスターを起動します
（A） NameNodeを開始する
[atguigu @ hadoop101 hadoop-2.7.2] $ sbin / hadoop-daemon.sh start namenode
（ B ） DataNodeを開始する
[atguigu @ hadoop101 hadoop-2.7.2] $ sbin / hadoop-daemon.sh start datanode
（ C ）起動が成功したかどうかを確認します
[atguigu @ hadoop101 hadoop-2.7.2] $ jps
13586 NameNode
13668 DataNode
13786 Jps
注： jps は JDKのコマンドであり、 Linux コマンドではありません。JDK をインストールせずにjps を使用することはできません
クラスターを起動することもできます：sbin / start-dfs.sh
5. Webインターフェースを使用してHDFS情報を表示する
Hadoopが正常に起動したら、Linuxシステム（Windowsシステムではない）でブラウザーを開くことができます。
アドレスバーにアドレスhttp：// localhost：50070を入力して、名前ノードとデータノードの情報を表示します。オンラインでHDFSのファイルを表示することもできます。
6. Hadoopを閉じる
コマンド/sbin/stop-dfs.shを実行します