カフカのメッセージを読む最近のスパークでは、各読み取りは、最新のオフセットカフカから読み込みます。データが失われた場合カフカの使用を配布する場合は、メッセージは、データの損失や矛盾が生じます例外またはその他のエラーの処理におけるデータ処理プログラム中に発生する可能性があります。今度は、再び新しいカフカプロセスからデータを渡す、または読み取りカフカオフセットを指定することもできます。カフカデフォルトでは、オフセットの特定のトピックのあなただけの必要カフカの消費者は、値または最小値に設定されている、あなたは、消費者が設定したポイントからの支出を開始することができ、データの7日間にディスク上に保存されます。この必要性は、ZKの内側からのオフセット値を変更します。
クエリトピックの範囲がオフセットされた
クエリのトピックに、次のコマンドで：ダイナミックレンジブローカー：SparkMaster：9092の最小オフセット：
ビン/ kafka-run-class.sh kafka.tools.GetOffsetShell --brokerリストslave6：9092 -topic videoplay --time -2
输出
ダイナミックレンジ：0：1288
の最大オフセットを照会します。
ビン/ kafka-run-class.sh kafka.tools.GetOffsetShell --brokerリストslave6：9092 -topic videoplay --time -1
输出
ダイナミックレンジ：0：7885
が出力トピックを見ることができ、上から：ダイナミックレンジだけつのパーティション：0オフセット範囲：[1288,7885]
設定し、消費者のグループは、オフセット
のZooKeeperクライアントを起動します
/zookeeper/bin/zkCli.shは、
次のコマンドにより、消費者のグループを提供する：DynamicRangeGroupトピック：ダイナミックレンジパーティション：オフセット 0 1288：
セット/消費者/ DynamicRangeGroup /オフセット/ダイナミックレンジ/ 0 1288
あなたのカフカは、飼育係のルートを設定している場合ことに注意してください、など/カフカ、その後、コマンドは次のようになります。
セット/カフカ/消費者/ DynamicRangeGroup /オフセット/ダイナミックレンジ/ 0 1288
テイク効果は
、あなたがオフセット設定からデータを読み始めることができ、関連するアプリケーションを再起動してください。