Vorwort: In diesem Dokument wird nur der Fall erörtert, in dem die Datenquelle Kafka ist und wie man ein genaues einmaliges Schreiben von Kafka und Doris erreicht
Der Kafka-Connector von Flink hat die automatische Übermittlung von Offsets an Kafka implementiert. Wenn die Daten in Flink erfolgreich geschrieben wurden, übermittelt Flink den Offset dieses Datenstapels an Kafka. Wenn das Programm neu gestartet wird, zeichnet Kafka die aktuelle Position des GroupId-Verbrauchsoffsets beim Verbrauch auf Wenn Sie beginnen, beginnt der Verbrauch an der Position des letzten Verbrauchs, wodurch sichergestellt werden kann, dass die Daten mindestens einmal vorhanden sind. Wenn das schreibende Ende dies genau einmal tun muss, kann es Transaktionskontrolle oder Idempotenz verwenden. Sexuelle Garantie.
- Von Kafka zu Kafka, um einmal Genauigkeit zu erreichen
Wenn Sie von Kafka-Thema1 nach Kafka-Thema2 (nicht unbedingt dasselbe Kafka) schreiben, müssen Sie beim Schreiben in Kafka das Schreiben von Transaktionen aktivieren. Wenn der Vorgang zum Schreiben eines Datenstapels in Kafka nicht abgeschlossen ist, wurde dieser Datenstapel geschrieben Der Eingabestatus ist nicht festgeschrieben. Wenn alle Daten erfolgreich geschrieben wurden, führt der Flink-Kafka-Connector einen Festschreibungsvorgang aus und der Status dieses Datenstapels ändert sich in festgeschrieben. Wenn Sie die Daten in Thema2 genau auf einmal verbrauchen möchten, benötigen Sie Folgendes um es im Programm zu konfigurieren. Übergeben Sie den Parameter isolation.level=read_committed<