HDFSデータノードのdecomissionが不足しているブロックを引き起こしました

最近オフラインオフライン次の第四のマシンに、1％以上の失われたブロック・クラスタへのCDHアラートは、組立ラインオフ400以上のクラスタ、1があることを計算し、1 decomissによって、マシンに1を助け会社にクラスタコンピューティング、オフラインマシン構成が優れているので、マシン上のクラスタの店舗1％以上を行うため、組立ラインオフステップは、組立ラインの停止点は、次のステップは、実際には何の問題も読み取らないことがあるという問題がアラームがあるべきではありませんブロックは、コピー、そしてdecomissionのデータノードを終了しますが、クラスタは、すべてのではないすべてのコピーが失われた場合には常識によると、ファイルのコピーがHDFSが欠落している、そこにまだ14行方不明のブロックで、時間をかけてHDFSは、他のノードからこれらのコピーを配置しますしかし、時間の増加とともにブロックを回復することはありません。
完全に、組立ラインオフステップは、後に、元のデータノードがdecomissionを続ける選択し、何の問題が確認されていないが、このステップでは、スタックされているだろう、完了しません、データノードは、ログデータの下に見えた実際に動いているが、IO小さなノードを見てノードは、組立ラインオフ正常未満である場合、IOに達します。だから、最初のノードをスキップし、また同じことが起こったことがわかった組立ライン、オフ他のノードは、組立ラインをオフに死ぬことを続けているようです。
発行cloudderaコミュニティを見て、それはバグCDHのようです、当局者は、データノード上のCDHを削除して、組立ラインをオフにすることができ再び追加されるべきであると述べました。
すべてのノードがCDH監視により削除データノードに直接出てコピーされた後にデータノードがブロックによると、停止した私は、decomissionの正常な流れになりませんでした。モニターがあることが見えたHDFSの下で行わ取得した後、このノードを指示していなかった、それは死んだノードを存在しません。その後、再びそれをインストールするために再び戻ってdecomissionを付属していません。このような方法では、ノードが完了している組立ラインをオフに動作するように。この問題を見てみましょうするには。
UIはHDFSのブロックを失ったヒントが見られている

ブロックを投げ、その後、私たちはそこに、これについてHDFSでのfsck /コマンドを確認するブロックを失っていなかった結果をチェックしているので、
そうhdaoop dfsadmin -reportと、このコマンドは、14ブロックの損失は、HDFSインターフェイスのチェックやヒントの結果が一致であることを示唆し、ビットをチェックします。
二つの異なるコマンドの結果ので、二つのコマンドが不正確であってもよい結果を有すると仮定されているので、少なくとも一方は、問題であることを示しています。
その後、別の可能性を知ることによって、ファイルがクライアントの異常の過程で書き込まれたライトシャットダウンしませんしませんリースの放出をもたらす、ハングアップしていることで、また、ブロック原因使用することはできないことがあります。
参考https://www.cnblogs.com/cssdongl/p/6700512.html
この場合、HDFSによってデバッグrecoverLeaseの-path <パス・オブ・ザ・ファイル> -retries <再試行回数> リースファイルを回復することができます。
しかし、我々は、これらのブロックはファイルが、どのようにそれが私たちの推測を検証するために属しているか分からないブロックに問題があることを知っている
コマンドをHDFSにfsck / -openforwrite |はgrep -i openforwrite | awkは、「{$ 1印刷}」 される電流が書かれて見つけるために、ファイル、書き込みサイクルのスクリプトは、リースを回復するファイルの内側には、
スクリプトが実行された後に書き込まれているすべてのファイルのリースを回復するために行くことができ、それは実際にこれらのブロックが消えて行方不明。