統計解析クーズーの【オリジナル】大きなデータベースメモリフットプリントTSERVER(6)クドゥ

次のように書き込み要求を拒否しますTSERVER高クーズーのためのメモリと、ログは次のようになります。

19/06/01午前十三時34分12秒INFOのAsyncKuduClient:錠剤858c055c456549569af77d14eaf997e5ため、場所34b1c13d04664cc8bae6689d39b08b77(7050 $ kudu_tserverを):無効化サービスが利用できない:ソフトメモリ制限に(容量の92.36パーセントで)を超え。https://kudu.apache.org/releases/1.7.0-cdh5.16.1/docs/troubleshooting.htmlを参照してください。

詳細なメモリフットプリントTSERVER 1つのビュー

http:// kudu_tserver $ 8050 / MEM-トラッカー

ページは2つの部分に分かれています。

全体的に占有するためのプロセスのメモリ使用量

サブシステムによるメモリの使用量は、より複雑な一目見ただけで、実際には、親を通じてカスケードするツリー構造で、詳細なアカウンティング、あります

たとえば、ルートが完全に1.6Gとして占有され、logcache以下のルートは、277Kを取り、その後、見下ろします

block_cache-sharded_lru_cacheは、ならびに、錠剤に加え246M、サーバ占有1.4G、サーバは、以下、錠剤の数に分割され、占有しました

log_block_managerは438Mを占領しました。

 

あなたには、いくつかのタブレットを見つけた場合は、次のコマンドを採用することができ、次の表で見たいと思ってより多くのメモリを、取ります:

 

TSERVER上のすべての2錠を見ます

sudoの-uはremote_replicaリストの$ kudu_tserverする必要があります

例えば:

Tablet id: e064f41775084680ab269b3cb3c21c76
State: RUNNING
Table name: impala::test_db.test_table1
Partition: RANGE (dt) PARTITION 20190531 <= VALUES < 20190532
Estimated on disk size: 30.71M
Schema: Schema [
        0:co1[int32 NOT NULL],
        1:co2[string NOT NULL],
        2:co3[string NOT NULL],
        3:co4[string NOT NULL],
        4:co5[string NULLABLE]
]
...

 

关于kudu的内存估算,和数据量大小以及tablet多少以及活跃replica多少都有关系,详见:

https://kudu.apache.org/docs/scaling_guide.html#memory

 

おすすめ

転載: www.cnblogs.com/barneywill/p/10959372.html