設定カフカの消費者(V)

fetch.min.bytes。最小を取得するデータの#バイト
ブローカーの消費者のデータは、データが指定されたMBに達しない場合は、サイズによって返される、消費者が指定したサイズに生産者から取得するためにブローカーになるまで待機状態になりますデータまで。最小データサイズフェッチ取得すると、各パーティション上のデータを指します。
fetch.max.wait.ms 
コンシューマがデータ・ブローカのバイトの最小数に達しているに達していない場合、ブロック消費者が状態に常にではないが、待っている、設定時間fetch.max.wait.msに従って取られますブロック状態の終わり。あなたは、設定fetch.min.bytesサイズは1メートルですが、1メートルに達していないが、どのように多くのデータ、どのくらいのデータ収集を設定fetch.max.wait.ms最大待機時間に現在のブロックの状態をオフに終了すると言うなら。デフォルト値は500ミリ秒である。
これら2つのパラメータを介して通信するだけでなく、バッチジョブのために、クライアントとサーバーの数を制御します。
max.partition.fetch.bytes 
各パーティションにバイトの最大数を制御します。デフォルトは1メガバイトである
5は、各消費者がconcumerレコード4Mを読み取ることができ、消費者のパーティション上のデータを読み取るがある、20のパーティション1番目のトピックがある場合。
Session.timeout.ms 
ブローカーと消費者の間のセッションタイムアウト時間
長い時間のために消費者が投票を開始する情報がない場合は、メタデータを取っていない、とブローカーは、消費者がリバランスは、他のconsmerにつながる、消費者が発生しますタイムアウトになったと考えている場合session.timeout.ms内で指定された時間が、それは、クライアントのタイムアウトを考慮することができますこのとき、メッセージを受信しない、タイムアウトが消費者の他の消費者に割り当てられたパーティションます
heartbeat.interval.msは、
消費者がハートビートを送信する時間を制御します。
したがって、これら2つのパラメータは、多くの場合、一緒に時間session.timeout.msよりも確かに短いheartbeat.interval.msを使用しています。一般的に設定され、ハートビートタイムアウト時間は1 /3が比較的良好です。
auto.offset.reset #earliestは
自動的に行わの先頭からデータを読み込み、
トピックはデータを持っている場合、新しいパケットが作成されるとき、あなたが設定することができ、読み出したデータをgroup.idことにより、グループに割り当てられますこれは最初の場所からデータを読み出します。あなたが読んでいない新しいパケットを作成しなかった場合はデータが
enable.auto.commit 
自動送信#デフォルトはtrueで
、消費者のデータは、実際には、ブローカーに提出されるオフセットクライアント側、クライアント側で維持されているオフセットはどのくらい読んだとき、その後、自動的に私たちのために専用のスレッドによって処理されます。 
、データが読み込まれている場合、プログラム事故死(停電、ダウンタイムを)、それは意志、ブローカーに提出するのに十分な時間を持っていません。あなたは明らかにはるかに優れたデータを読んでいないよりも、あなたは、最新のデータ位置を読むために何のレコードカフカが存在しないため、重複データが得られことは、再び次のデータを読み込む読み込みます。だから我々はあなたが唯一の電源やその他の問題を伴うものを、受け取ることができ、私は送信回数に関係なくである必要がある、後で紹介します。
auto.commit.interval.ms 1000年#設定自動コミット時間
partition.assignment.strategyの
パーティションの割り当て方法
1つのまたは複数のtipicパーティションのデータは、消費者の話題を読んだときに、消費者がパーティションの終わりになります。ブローカーに2つの割り当てポリシーがあります。1.range部2 .roundRobin 
 1 .Range間隔
   パーティションが表示されたデータの奇数状況偏在現れます。
   それぞれ二つのトピックT1 t2は、存在する場合、2人の消費者が存在する場合、C1がt1において、P1 P2及びC2にT1およびT2に割り当てられている、3つの区画、C2はP3に次のT1およびT2が割り当てられていますこの配布戦略のP3は、消費者のpatitionに割り当てられません。これは、デフォルトの設定であるカフカ
 2 .roundRobin 
           が割り当てポリシーよりも良好な範囲を提供するであろう。
         メッセージを法に従って方法下記平均パーティション各トピックをパーティションに割り当てられます
   これら二つのアロケーション戦略については、インターフェイスの実装により、独自のカスタム・アロケーション戦略を実行することができます。しかし、通常、私たちは消費者政策の分布書き換えないでしょう
cliend.id#クライアントIDを
    法的文字列は、クライアントが情報を送信し、このブローカーのIDを介して見ることができます
#最大データ収集をmax.poll.recordsサイズ
    我々はfeach.min.bytesの10Mのデータを取得するために最小に設定し、ここでの最大の買収5Mを設定した場合、その後、消費者がします
キャッシュ内の残りの5Mキャッシュされたデータを返すために再び呼び出されます
receive.buffer.bytesの
    
send.buffer.bytesを

 

おすすめ

転載: www.cnblogs.com/MrRightZhao/p/11306091.html