大規模なデータHDFSの運用・保守

HDFSの質問：

1. HDFSファイルシステムのルート「1daoyun /ファイル」で、再帰的ディレクトリを作成し、添付ファイルをBigDataSkills.txt /ファイルのディレクトリを1daoyunアップロード、ファイルシステム/ファイルファイルディレクトリ1daoyun関連リスト情報を表示するコマンドを使用します。

[ルート@マスター〜]＃su hdfs
[HDFS @マスター〜] $ hadoop fs -mkdir -p /1daoyun/file
[HDFS @マスター〜] $ hadoop fs -put /opt/BigDataSkills.txt /1daoyun/file
[HDFS @マスター〜] $hadoop fs -ls /1daoyun/file/

1つのアイテムが見出さ
-rw-R-r--の3つのHDFS 144 2019年5月3日13時44分/1daoyun/file/BigDataSkills.txtをHDFS

2. 、添付ファイルをBigDataSkills.txt /ファイルのディレクトリを1daoyunアップロードし、ファイルが破損しているかどうかを確認するためにHDFSファイルシステムチェックツールを使用します、HDFSファイルシステム「1daoyun /ファイル」のルートに再帰的にディレクトリを作成します。
   [マスター〜@ルート]＃su hdfs
   [〜@ HDFSマスター] $ hadoop fs -mkdir -p /1daoyun/file
   [HDFSマスター〜@] $はhadoop fs -put /opt/BigDataSkills.txt /1daoyun/file
   $ [〜@ HDFSマスター] hadoop fsck /1daoyun/file/BigDataSkills.txt
   推奨されていません：。これの使用は非推奨HDFSを実行するコマンドスクリプトです
   INSTEAD HDFSでITのためのコマンドを使用します。

http経由で名前ノードへの接続：// master.hadoop：50070 / fsckのUGI = HDFS＆パス=％2F1daoyun％2Ffile％2FBigDataSkills.txt？
FSCK HDFS（AUTH：SIMPLE）によって開始された/10.0.0.103からパス/ 1daoyun /ファイル/ BigDataSkills金5月3日午後02時29分36秒UTC 2019で.TXT
。
/1daoyun/file/BigDataSkills.txt：blk_1073742063_1239：アンダーはBP-1109077204-10.0.6.135-1524734809311複製しました。ターゲットレプリカは3であるが、2ライブレプリカ（S）、0退役レプリカ（S）と0廃棄レプリカ（単数または複数）を発見しました。
ステータス：ヘルシー
合計サイズ：144 B
総DIRS：0
合計ファイル：1つの
総シンボリックリンク：0
合計ブロック（検証）：1（平均ブロックサイズ144 B）は
図1（100.0％）：最低限のブロック複製
オーバー複製ブロック：0 （0.0％）
アンダー複製ブロック：1（100.0％）
誤複製ブロック：0（0.0％）
のデフォルトの複製因子：3
平均ブロック複製：2.0
破損ブロック：0
欠落複製：1（33.333332%）
データノード数：2
数ラックの：1つの
fsckが0ミリ秒以内に5月3日午前14時29分36秒UTC 2019金曜で終了しました

パスの下のファイルシステムは「/1daoyun/file/BigDataSkills.txt」健康です

3. ファイルシステムのルートディレクトリに作成され、HDFSディレクトリを再帰的に「1daoyun /ファイル」、添付ファイルをBigDataSkills.txt 1daoyun /ファイルのディレクトリをアップロードし、ファイルのコピー処理をアップロードしますHDFSファイルシステムにBigDataSkills.txt係数を指定しています2、及び記憶ブロックをチェックするfsckのツールを使用してコピー数。
   [マスター〜@ルート]＃su hdfs
   [〜@ HDFSマスター] $ hadoop fs -mkdir -p /1daoyun/file
   [HDFSマスター〜@] $はhadoop fs -D dfs.replication=2 -put /opt/BigDataSkills.txt /1daoyun/file
   $ [〜@ HDFSマスター] hadoop fsck /1daoyun/file/BigDataSkills.txt
   推奨されていません：。これの使用は非推奨HDFSを実行するコマンドスクリプトです
   INSTEAD HDFSでITのためのコマンドを使用します。

http経由で名前ノードへの接続：// master.hadoop：50070 / fsckのUGI = HDFS＆パス=％2F1daoyun％2Ffile％2FBigDataSkills.txt？
FSCK HDFS（AUTH：SIMPLE）によって開始された/10.0.0.103からパス/ 1daoyun /ファイル/ BigDataSkills土の.txtの5月4日午前十時04分11秒UTC 2019
.Status：HEALTHY
合計サイズ：144 B
の合計のdirs：0
合計ファイル：1つの
総シンボリックリンク：0
合計ブロック（検証）：1（。平均ブロックサイズ144 B）
最小限複製ブロック：1（100.0％）
オーバー複製ブロック：0（0.0％）
下で、複製ブロック：0（0.0％）
誤複製ブロック：0（0.0％）
のデフォルトの複製因子：3
平均ブロック複製：2.0
破損ブロック：0
欠落複製：0（0.0％）
データ・ノードの数：2
ラックの数：1つの
fsckは1ミリ秒で5月4日午前10時04分11秒UTC 2019土で終了

パスの下のファイルシステムは「/1daoyun/file/BigDataSkills.txt」健康です

4. HDFSファイルシステムの/アプリのファイルディレクトリのルートには、要件は、ディレクトリを開くには、スナップショット機能を作成し、そのディレクトリのファイルのスナップショットを作成し、スナップショット名apps_1daoyun、スナップショットファイルに関連する情報のリストを表示するコマンドを使用すること、があります。
   $ [〜@ HDFSマスター] hadoop dfsadmin -allowSnapshot /apps
   非推奨：このHDFSの使用は推奨されませんするコマンドスクリプトを実行して、
   ITのためのINSTEAD使用HDFSコマンド。

/アプリでsnaphotに成功した許可
[HDFS @マスター〜] $ hadoop fs -createSnapshot /apps apps_1daoyun
作成したスナップショット/apps/.snapshot/apps_1daoyun
[HDFS @マスター〜] $ hadoop fs -ls /apps/.snapshot
が見つかりました1つの項目は
drwxrwxrwx -のHDFS HDFS 0 2019年5月4日10：16 /apps/.snapshot / apps_1daoyun

5. Hadoopクラスタの起動時には、セーフモードに入る最初の状態になる場合は、30秒のデフォルトモードは終了します。システムが安全モードになっている場合には、HDFSファイルシステムは、操作のみを変更または削除書き込むことはできません、読むことができます。これは、メンテナンスHadoopクラスタを必要とすると想定され、あなたはセーフモードの状態にクラスタを作成し、その状態を確認する必要があります。
   $ [〜@ HDFSマスター] hadoop dfsadmin -safemode enter
   非推奨：このHDFSの使用は推奨されませんするコマンドスクリプトを実行して、
   ITのためのINSTEAD使用HDFSコマンド。

SafeモードはONである
[HDFS @マスター〜] $ hadoop dfsadmin -safemode get
非推奨：HDFSコマンドを実行するには、このスクリプトの使用は推奨されません。
代わりにそれのためにHDFSコマンドを使用します。

SafeモードはONです

6. オペレータ誤って削除したファイルを防ぐために、HDFSファイルシステムには、ごみ箱機能を提供しますが、あまりにも多くのジャンクファイルは、ストレージスペースの多くを取ります。HDFSファイルシステムごみ箱は7日の間隔でファイルを削除する前にWEBインターフェースを必要とTVプラットフォームデータ。

   高度 core-site
fs.trash.interval
10080

7. オペレータ誤って削除したファイルを防ぐために、HDFSファイルシステムには、ごみ箱機能を提供しますが、あまりにも多くのジャンクファイルは、ストレージスペースの多くを取ります。これは、ごみ箱機能をオフにし、対応するプロファイル情報やパラメータを変更するためにLinuxのシェルコマンドの「VI」を使用する必要があります。終了したら、適切なサービスを再起動します。
   [ルートマスター@〜]＃vi /etc/hadoop/2.6.1.0-129/0/core-site.xml
   < property>
   < name> fs.trash.interval </ name>
   < value> 0 </ value>
   </ property>

[ルート@マスター〜]＃su hdfs
[HDFS @マスター〜] $ /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh stop namenode
名前ノードを停止
[HDFS @マスター〜] $ /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh start namenode
/var/log/hadoop/hdfs/hadoop-hdfs-namenode-master.outへのロギング、名前ノードを開始
[HDFS @マスターを〜] $ /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh stop datanode
データノードを停止
[HDFS @マスターが〜] $ /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh start datanode
/var/log/hadoop/hdfs/hadoop-hdfs-datanode-master.outへのロギング、データノードを開始します

9. Hadoopクラスタのホストは現在、HDFSファイルシステムの信頼性を確保するために、問題がダウンしているかの問題が発生した場合に、システムの損傷は、データファイルのHDFSファイルシステムが必然的に破損したり失われているでしょう、いくつかのケースに表示されますクラスタ5を変更する前にTVプラットフォームのWEBインターフェイスを必要と冗長データ複製因子。

   General
Block replication 5

10. Hadoopクラスタのホストは、一度、これらの問題を経験して、いくつかのケースでは問題のダウンタイムやシステムの損傷を持って、データファイルのHDFSファイルシステムは、必然的に破損または紛失しているだろう、HDFSファイルシステムの信頼性を確保するために、あなたがする必要があります冗長クラスタの複製因子の修正5、Linuxのシェルで「VI」コマンドを使用して、構成ファイルとパラメータ情報を変更し、適切なサービスを再起動し、終了しました。
    [ルートマスター@〜]＃vi /etc/hadoop/2.6.1.0-129/0/hdfs-site.xml
    < property>
    < name> dfs.replication </ name>
    < value>。5 </ value>
    </ property>
    [HDFSマスター@〜] $ /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh stop namenode
    名前ノードの停止
    [HDFSマスター〜@] $を/usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh start namenode
    ログは/ var /に、名前ノードの起動ログイン/ Hadoopの/ HDFS / Hadoopの-HDFS-名前ノード-master.out
    $ [〜@ HDFSマスター] /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh stop datanode
    データノードの停止
    [HDFSマスター@〜] $ /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh start datanode
    開始データノード、ログは/ varに/ログ/ Hadoopの/ HDFS / Hadoopの-HDFS-データノードを-master.out

10.使用HDFSはファイルシステム/ tmpディレクトリの下のディレクトリの数、ファイルとファイルサイズの合計数を確認するためのコマンド。
[HDFSマスター@〜] $ hadoop fs -count /tmp
13です。1 2073は/ tmpに