Für weiteren technischen Austausch und Stellenangebote folgen Sie bitte dem offiziellen WeChat-Konto der ByteDance Data Platform und antworten Sie [1], um der offiziellen Kommunikationsgruppe beizutreten
Kürzlich hat die DataLeap-Datenintegration der Big-Data-Forschungs- und Entwicklungsverwaltungssuite die CDC-Unterdatenbank- und Untertabellenfunktionen aktualisiert, mit denen mehrere Untertabellen mehrerer Datenbanken mehrerer Instanzen mit einer Tabelle auf der Zielseite synchronisiert und zunächst offline synchronisiert werden können dann Echtzeitsynchronisation. Geeignet für Unterdatenbank- und Tabellenszenarien. Gleichzeitig unterstützt es die Synchronisierung von MySQL mit EMR-Doris, EMR-Starrocks und LAS und hilft dabei, die neuesten Daten mit der Zieldatenbank am schnellsten und mit den niedrigsten Bandbreitenkosten zu synchronisieren, was zu einer genauen und effizienten Geschäftsdatenanalyse beiträgt
CDC (Change Data Capture) ist die Abkürzung für Change Data Capture. Basierend auf inkrementellen Protokollen kann eine inkrementelle Datenerfassung mit minimalem Eingriff durchgeführt werden. Die Kernidee besteht darin, Datenbankänderungen (einschließlich Einfügen, Aktualisieren und Löschen von Daten oder Datentabellen usw.) zu überwachen und zu erfassen, diese Änderungen in der Reihenfolge ihres Auftretens vollständig aufzuzeichnen und sie für andere direkt in die Nachrichten-Middleware zu schreiben Dienstleistungen. Abonnement und Nutzung können auch direkt mit anderen Datenquellen für Geschäfts- oder Datenanalysen und -anwendungen verbunden werden.
Vorteile gegenüber der Batch-Extraktion
Im Vergleich zur Batch-Synchronisation bietet die Erfassung von Änderungsdaten in der Regel die folgenden drei grundlegenden Vorteile:
-
CDC reduziert die Kosten für die Datenübertragung über das Netzwerk, indem nur inkrementelle Änderungen gesendet werden
-
CDC kann Benutzern helfen, schnellere und genauere Entscheidungen auf der Grundlage der neuesten Daten zu treffen. Beispielsweise überträgt das CDC Transaktionen direkt an eine Analyseanwendung
-
CDC minimiert Störungen des Netzwerkverkehrs in der Produktionsumgebung.
Die Echtzeit-Synchronisationslösung unterstützt derzeit die folgenden zwei Lösungen:
-
Echtzeit-Gesamtdatenbanklösung : Das heißt, sie unterstützt die Synchronisierung mehrerer Tabellen mit unterschiedlichen Schemata unter einer Datenbank mit verschiedenen Tabellen auf der Zielseite in einer Lösung. Zuerst offline synchronisieren, dann in Echtzeit synchronisieren. Unterstützt derzeit die Synchronisierung von MySQL, PostGreSQL und SQL Server mit EMR-Doris, StarRocks und LAS
-
Echtzeit-Datenbank- und Tabellen-Sharding-Lösung : Basierend auf der gesamten Datenbanklösung unterstützt sie außerdem die Synchronisierung mehrerer Shards mehrerer Datenbanken mehrerer Instanzen mit demselben Schema mit einer Tabelle auf der Zielseite . Zuerst offline synchronisieren, dann in Echtzeit synchronisieren. Geeignet für Unterdatenbank- und Tabellenszenarien. Derzeit wird die Synchronisierung von MySQL mit EMR-Doris, StarRocks und LAS unterstützt. Unterstützt die direkte Verbindungssynchronisierung sowie den Zwischencache zu Kafka und die anschließende Synchronisierung .
Der flexible Middleware-Cache-Synchronisierungsmodus verbessert die Flexibilität beim Datenverbrauch erheblich
Die Cache-Konfiguration unterstützt derzeit zwei Cache-Konfigurationsmethoden: „
Cache verwenden
“ und „
Kein Cache, direkte Synchronisierung “.
Wenn Sie den Kafka-Cache verwenden, müssen Sie beim Konfigurieren der Datenquelle den entsprechenden Kafka binden, in den CDC Daten sammelt.
Cache verwenden
: Sie können Quelldaten mithilfe des Kafka-Cache sammeln. Diese Methode erfordert eine zusätzliche Konfiguration der Kafka-Datenquelle, und für die entsprechende Kafka-Instanz wurde eine entsprechende CDC-Datenabonnement-Erfassungsaufgabe erstellt, um die Daten im Quell-MySQL zu speichern. Real Zeitliche Erfassung in der Kafka-Instanz.
Kein Caching erforderlich, direkte Synchronisierung
: Lesen Sie Daten in Echtzeit durch direktes Sammeln von MySQL-Binlog-Protokollen.
Wert des Kunden
Durch die schnelle Verbindung zu selbst erstellten/in der Cloud befindlichen Datenquellen zur Datenerfassung und -synchronisierung helfen wir Kunden dabei, verschiedene Arten von Daten mit der Cloud sowie dem Datenfluss in der Cloud zu verbinden, die Datenlagerung und -speicherung einfach abzuschließen und effektiv zu nutzen der Wert von Daten. Mit Hilfe der CDC-Subdatenbank- und Subtabellensynchronisierung wird eine durchgängige schnelle Datensynchronisierung unterstützt, die Echtzeitnatur der Daten wird weiter verbessert und Geschäftsentscheidungen werden zeitnaher und genauer getroffen.
Klicken Sie hier, um zu Big Data R&D Governance Suite DataLeap
zu springen und mehr zu erfahren
{{o.name}}
{{m.name}}