サーバーのチューニング - 悟空の知恵教育

1)、hbase.regionserver.handler.count:この設定は、RPCを処理するスレッドの数を決定するデフォルト値は10であり、例えば、一般的に大に調整することができる:150、例えば大型プットとしてコンテンツ大きい(MBを、要求された場合そこにOutOfMemory設定値が高すぎる場合、それは頻繁にGCを引き起こして、あまりにも多くのメモリを取り上げる際に、キャッシュされたスキャン)を使用して、または値が大きく、より良いではありませんので、。 

(2)、hbase.hregion.max.filesize:設定領域のサイズは、バージョン0.94.12デフォルトは10G、関係のクラスター領域のサイズをサポートするためのデータの総量は、データの合計量が少ない場合、単一の領域が、大きすぎないが、ありますクラスタは、総データのより大きな量をサポートする必要がある領域が小さすぎる場合は、高い管理コストの領域を得、過剰な数の領域の原因となり、データの並列処理を容易にします。

 RS 3T * 10 = 30Tデータ量のために設定されたディスクの量、データ複製パーツ3場合は1000年までの各地域10Gでの最大、地域場合は、RSサーバーは、一見して、10Tのデータを格納することができます。デフォルトの設定のこのバージョン0.94.12は全く正しいですが、あなたが自分自身の分割を管理したい場合は、あなたがテーブルの構築に計画地域とのrowKeyデザインの価値と数を上げる必要があり、地域のあらかじめ構築されました。

(3)、file.block.cache.size:RSのブロックキャッシュメモリサイズ制限、デフォルト値は0.25であり、読み出し動作の偏向を適切前記クラスタサービスの具体的な構成、動作テストのHBaseのために大きな値を調整することができます組み合わせmemstoreメモリは、総合的に考慮を占めました。

(4)、hbase.hregion.memstore.flush.size:128Mのデフォルト値は、バイト単位で、HDFSに同一平面上になるように、比較的控えめな値の必要性が調整されません。

領域の最大数を制御、操作に分割することができない場合、デフォルトはInteger.MAXである、1に設定することができ、自動的に手動で、分割、またはクラスタアイドルでスクリプトを書く禁止:(5)、hbase.regionserver.regionSplitLimit実行。それは自動的に分割を禁止しない場合領域がhbase.hregion.max.filesizeスプリットオペレーションをトリガよりも大きい場合、(特定だけでなく、パラメータ制御により、予め分割領域データとmemstoreの量を考慮し、特定の戦略を分割しましたサイズ)、各フラッシュ、またはコンパクト後、リージョンサーバーは、あなたが分割を必要とするかどうかをチェックするだろう最初の組立ラインオフ古い地域を分割して、行分割後の領域に、プロセスは非常に高速になりますが、二つの質問があります:

組立ラインオフ1つの古い領域の後、フロントラインクライアントアクセス上の新しい領域は、失敗するリトライ処理は成功しますが、システムがリアルタイムサービスを提供する場合は、応答の長さを増加します。

2splitアクション後のコンパクトは、より多くの資源集約的です。

6)、JVMの調整:メモリサイズ:マスタデフォルト1Gは、調整可能な、10G大きな、またはより大きな、リージョンサーバー1Gデフォルト、2Gまで増加させることができる、ZKが集中リソースではない、調整することができません。

 「猿の知恵教育」から、上記の記事の内容: www.wukongone.com、「悟空の知恵教育は、」大規模なデータネットワーク、排他的なテーラーあなたの未来を教えるプロのビデオです。

おすすめ

転載: www.cnblogs.com/wukongone/p/11984842.html