Debezium シリーズ: Debezium データには dml ステートメントが含まれているため、コネクタによる binlog ファイルの消費が遅くなり、ダウンストリームの消費によってソリューションがブロックされることさえあります。

1. 背景

• Debezium データには DMl ステートメントが含まれており、データ自体が比較的大きく、データ量も比較的大きいため、binlog ファイルを消費するために履歴データを再取得する速度は比較的遅いです。
• Flume は Debezium によって収集された大量のデータを消費し、そのデータがチャネルに蓄積されるため、データ シンクから HDFS までの時間に大きな遅延が発生します。

関連する技術ブログ:

• Flume シリーズ: 一度に消費される大量の Debezium データを記録します。データには比較的大きな dml ステートメントが含まれており、チャネルにデータが蓄積されます。

2、debezium データには dml が含まれています

• データベース構成 binlog_rows_query_log_events
• コネクタ構成パラメータ「include.query」:「true」

3. 履歴データを再取得する

• オフセットをリセットして履歴データを取得する場合、