Hadoopの名前ノードを超えGCオーバーヘッドの制限与えられ始めます

参考:
https://blog.csdn.net/rongyongfeikai2/article/details/82878578

開始によるものではない十分なメモリで、その結果、原因iノードの過度fsimageに、テキストで説明。

メモリのサイズを確認するにはFsimage必要性は、以下のコマンドでファイルによって占められます:

./hdfs oiv -p XML -printToScreen -i ${fsimage文件路径} -o /tmp/a

cat  /tmp/a | egrep "<inode><id>|<block><id>" | wc -l | awk '{printf "Objects=%d : Suggested Xms=%0dm Xmx=%0dm\n", $1, (($1 / 1000000 )*1024), (($1 / 1000000 )*1024)}'



ここに画像を挿入説明

HADOOP_NAMENODE_OPTS年でプラスXmxのとのXms構成のhadoop-env.sh:

設定が完了した後、私は、200グラムに、ここで調整し、Hadoopが再起動してください。

同時に、他の文献からドキュメントを述べ、及びHADOOP_NAMENODE_LIMIT_HEAPSIZE HADOOP_HEAPSIZEは適切な値に調整します。この例では、IはHADOOP_HEAPSIZEに試みる(単位はM)24,576から36,864に調整し、HADOOP_NAMENODE_INIT_HEAPSIZEは(単位はM)40,000から60,000に調整したが、開始はまだ与えられています。

リリース6元記事 ウォンの賞賛0 ビュー584

おすすめ

転載: blog.csdn.net/nickyu888/article/details/104327284