仕上げカフカ一般的な間違い(継続的に更新)

1、UnknownTopicOrPartitionException

org.apache.kafka.common.errors.UnknownTopicOrPartitionException:
This server does not host this topic-partition

エラー内容:データをされていないパーティション

分析:プロデューサーが存在しないトピックにメッセージを送信し、ユーザーがauto.create.topics.enableトピックや設定パラメータがあるかどうかを確認することができます

2、LEADER_NOT_AVAILABLE

WARN Error while fetching metadata with correlation id 0 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient

エラー内容:使用できないリーダー

分析:多くの理由のトピックは、スクリプトを使用して継続的なリーダー選挙をリーダーカフカ・トピックの情報を確認し、削除されています

ブローカーの生存を確認し、解決するために再起動してみてください

3、NotLeaderForPartitionException

org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition

エラー内容:ブローカーは、パーティションのリーダーに対応していません

分析:リーダーはリーダーの切り替えを引き起こすものを分析するために、チェンジリーダーの場合には別のブローカーに1つのブローカーからの切り替え

4、TimeoutException

org.apache.kafka.common.errors.TimeoutException: Expiring 5 record(s) for test-0: 30040 ms has passe

エラー内容:要求がタイムアウトしました

分析:あなたはrequest.timeout.msの値を増やすことを検討することができた場合にスローされた観測網が通過できるかどうかを確認するために

5、RecordTooLargeException

WARN async.DefaultEventHandler: Produce request with correlation id 92548048 failed due to [TopicName,1]: org.apache.kafka.common.errors.RecordTooLargeException

コンテンツエラー:メッセージが大きすぎます

分析:プロデューサー、しかしrequest.timeout.msはbatch.sizeを減らす増やすことができます終了メッセージ処理を来ります

図6に示すように、閉じたソケット接続

Closing socket connection to/127,0,0,1.(kafka.network.Processor) 

コンテンツエラー:接続がクローズ

分析:高バージョンのJAVAAPIプロデューサー、低いバージョンの検証は、クライアントコンシューマを開始したい場合は、エラーを停止しません

クライアントがメッセージを認識しません。

7 ConcurrentModificationExceptionが

java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access  

エラー内容:スレッドセーフ

分析:カフカは、消費者の非スレッドセーフ

8、NetWorkException

 [kafka-producer-network-thread | producer-1] o.apache.kafka.common.network.Selector : [Producer clientId=producer-1] Connection with / disconnected

エラー:ネットワーク異常

分析:ネットワーク接続を確認するには、ブローカーの中断したネットワークであります

9、ILLEGAL_GENERATION

ILLEGAL_GENERATION occurred while committing offsets for group  

コンテンツエラー:無効な「世代」

分析:消費者がデータを処理するために多くの時間を費やしているため、消費者がリバランスを逃しました。

max.poll.records値が増加max.poll.interval.msメッセージを和らげるか、処理速度を向上させる方法を見つける必要があります

~~~継続するには

よりリアルタイム計算、FLINK、カフカやその他の関連技術ボーエン、リアルタイムのストリーミングを計算するために歓迎の注意

ファイル

おすすめ

転載: www.cnblogs.com/tree1123/p/11531524.html