Autor |. SelectDB technisches Team
Als weithin anerkannte verteilte Datenbank wird OceanBase in vielen unternehmenskritischen Geschäftssystemen häufig eingesetzt. In der Apache Doris-Community entscheiden sich viele Benutzer für den Aufbau leistungsstarker Datenverarbeitungs- und Analyselinks auf Basis von OceanBase und Apache Doris. In diesem Artikel wird ausführlich beschrieben, wie Daten bequem und effizient von OceanBase zu Apache Doris migriert/synchronisiert werden können.
Praktischer Leitfaden
00 Umgebungsvorbereitung
Verwenden Sie Docker, um den Oceanbase-Dienst zu starten. Informationen zum Erstellen der OceanBase Docker-Umgebung finden Sie in der Oceanbase-Dokumentation – Verwenden Sie Docker, um die OceanBase-Datenbank bereitzustellen.
docker run -p 2881:2881 --name oceanbase -e MINI_MODE=1 -d oceanbase/oceanbase-ce:4.0.0.0
Erstellen Sie eine Tabelle in OceanBase und fügen Sie Daten hinzu
[root@VM-10-6-centos ~]$ mysql -h127.0.0.1 -P2881 -uroot
mysql> CREATE DATABASE ob;
Query OK, 1 row affected (0.01 sec)
mysql> use ob;
Database changed
mysql> CREATE TABLE student (
-> id int,
-> name varchar(256),
-> age int,
-> primary key (id)
-> );
Query OK, 0 rows affected (0.06 sec)
mysql> insert into student values(1, 'zhangsan01', 18),
-> (2, 'zhangsan02', 23),
-> (3, 'zhangsan03', 30),
-> (4, 'zhangsan04', 35),
-> (5, 'zhangsan05', 40);
Query OK, 5 rows affected (0.01 sec)
Records: 5 Duplicates: 0 Warnings: 0
Erstellen Sie eine Tabelle in Doris
[root@VM-10-6-centos ~]$ mysql -h127.0.0.1 -P9030 -uroot -p
mysql> CREATE TABLE `student` (
-> id int,
-> `name` varchar(256),
-> `age` int
-> ) ENGINE=OLAP
-> UNIQUE KEY(`id`)
-> COMMENT 'OLAP'
-> DISTRIBUTED BY HASH(`id`) BUCKETS 1
-> PROPERTIES (
-> "replication_allocation" = "tag.location.default: 1"
-> );
Query OK, 0 rows affected (0.06 sec)
01 Mit DataX synchronisieren
DataX ist eine Open-Source-Version der Alibaba Cloud DataWorks-Datenintegration. Sie bietet zwei Komponenten, OceanBaseReader und DorisWriter, mit denen Daten problemlos von OceanBase nach Doris migriert werden können. Die spezifischen Verwendungsschritte sind:
1. Laden Sie DataX herunter
2. Schreiben Sie die DataX-Konfigurationsdatei
{
"job": {
"setting": {
"speed": {
"channel": 1
}
},
"content": [
{
"reader": {
"name": "oceanbasev10reader",
"parameter": {
"username": "root",
"password": "123456",
"column": ["*"],
"connection": [
{
"table": ["student"],
"jdbcUrl": ["jdbc:oceanbase://127.0.0.1:2881/ob"]
}
]
}
},
"writer": {
"name": "doriswriter",
"parameter": {
"loadUrl": ["127.0.0.1:28737"],
"loadProps": {
},
"column": ["*"],
"username": "root",
"password": "",
"postSql": [],
"preSql": [],
"flushInterval":10000,
"connection": [
{
"jdbcUrl": "jdbc:mysql://127.0.0.1:29737/test",
"selectedDatabase": "test",
"table": ["student"]
}
],
"loadProps": {
"format": "json",
"strip_outer_array": true
}
}
}
}
]
}
}
Weitere Konfigurationen finden Sie unter Oceanbasev10reader und DorisWriter .
3. Führen Sie das DataX-Skript aus
python2 bin/datax.py oceanbase2doris.json
4. Vollständige Datensynchronisierung. Die Daten in Doris sind:
mysql> select * from student;
+------+------------+------+
| id | name | age |
+------+------------+------+
| 1 | zhangsan01 | 18 |
| 2 | zhangsan02 | 23 |
| 3 | zhangsan03 | 30 |
| 4 | zhangsan04 | 35 |
| 5 | zhangsan05 | 40 |
+------+------------+------+
5 rows in set (0.02 sec)
02 Verwenden Sie die Katalogsynchronisierung
Mithilfe der von Apache Doris unterstützten Katalogfunktion kann die Datentabelle in Oceanbase Doris zugeordnet und die Daten über Einfügen mit Doris synchronisiert werden.
Laden Sie das OceanBase-Treiberpaket in die FE- und BE- jdbc_driversVerzeichnisse herunter und führen Sie die Vorgänge im folgenden Code nacheinander aus:
-- 创建catalog
CREATE CATALOG jdbc_oceanbase PROPERTIES (
"type"="jdbc",
"user"="root",
"password"="123456",
"jdbc_url" = "jdbc:oceanbase://127.0.0.1:2881/ob",
"driver_url" = "oceanbase-client-2.4.2.jar",
"driver_class" = "com.oceanbase.jdbc.Driver"
)
-- 在doris中查询oceanbase的表
mysql> select * from jdbc_oceanbase.ob.student;
+------+------------+------+
| id | name | age |
+------+------------+------+
| 1 | zhangsan01 | 18 |
| 2 | zhangsan02 | 23 |
| 3 | zhangsan03 | 30 |
| 4 | zhangsan04 | 35 |
| 5 | zhangsan05 | 40 |
+------+------------+------+
5 rows in set (0.02 sec)
mysql> CREATE TABLE internal.test.student
-> PROPERTIES("replication_num" = "1")
-> AS SELECT * FROM jdbc_oceanbase.ob.student;
Query OK, 5 rows affected (0.07 sec)
{'label':'label_139f7d7f13ba491b_85038d67c9e3ae32', 'status':'VISIBLE', 'txnId':'12014'}
mysql> select * from internal.test.student;
+------+------------+------+
| id | name | age |
+------+------------+------+
| 5 | zhangsan05 | 40 |
| 1 | zhangsan01 | 18 |
| 2 | zhangsan02 | 23 |
| 4 | zhangsan04 | 35 |
| 3 | zhangsan03 | 30 |
+------+------------+------+
5 rows in set (0.03 sec)
03 Verwenden Sie die Flink CDC-Synchronisierung
Flink CDC stellt den OceanBase CDC-Connector bereit , der das Lesen von Snapshot-Daten und inkrementellen Daten von OceanBase ermöglicht. Die spezifischen Schritte sind wie folgt:
1. Bereiten Sie die Umgebung vor
Starten Sie OceanBase und OBLogProxy
docker pull oceanbase/oceanbase-ce:4.0.0.0
docker run --name oceanbase --network=host -e MINI_MODE=1 -d oceanbase/oceanbase-ce:4.0.0.0
docker pull whhe/oblogproxy:1.1.0_4x
docker run --network=host --name oceanbase_proxy -e OB_SYS_USERNAME=root -e OB_SYS_PASSWORD=123456 -d whhe/oblogproxy:1.1.0_4x
2. Passwort festlegen
In OceanBase hat der Root-Benutzer standardmäßig kein Passwort. OBLogProxy erfordert einen Systemmandantenbenutzer mit einem nicht leeren Passwort, daher müssen Sie zuerst ein Passwort für den Root-Benutzer @sys festlegen.
-- 登陆root用户的sys租户，
mysql -h127.0.0.1 -P2881 -uroot@sys
-- 设置密码为上面的OB_SYS_PASSWORD
MySQL [(none)]> ALTER USER root IDENTIFIED BY '123456';
Query OK, 0 rows affected (0.02 sec)
-- 进入root用户的test租户，单独设置密码test
mysql -h127.0.0.1 -P2881 -uroot@test
MySQL [(none)]> ALTER USER root IDENTIFIED BY 'test';
Query OK, 0 rows affected (0.02 sec)
-- 创建数据库表和数据
mysql> CREATE DATABASE ob;
mysql> USE ob;
mysql> CREATE TABLE student (
-> id int,
-> name varchar(256),
-> age int,
-> primary key (id)
-> );
Query OK, 0 rows affected (0.06 sec)
mysql> insert into student values(1, 'zhangsan01', 18),
-> (2, 'zhangsan02', 23),
-> (3, 'zhangsan03', 30),
-> (4, 'zhangsan04', 35),
-> (5, 'zhangsan05', 40);
Query OK, 5 rows affected (0.01 sec)
Records: 5 Duplicates: 0 Warnings: 0
3. Konfiguration der Flink-Umgebung
Platzieren Sie das OceanBase CDC- JAR-Paket und den Doris Connector im FLINK_HOME/libVerzeichnis und starten Sie den Flink-Cluster neu.
4. Führen Sie Flink SQL-Aufgaben aus
SET 'execution.checkpointing.interval' = '3s';
CREATE TABLE student (
id INT,
name STRING,
age INT,
PRIMARY KEY (id) NOT ENFORCED
) WITH (
'connector' = 'oceanbase-cdc',
'scan.startup.mode' = 'initial',
'username' = 'root@test',
'password' = 'test',
'tenant-name' = 'test',
'database-name' = 'ob',
'table-name' = 'student',
'hostname' = 'localhost',
'port' = '2881',
'rootserver-list' = '127.0.0.1:2882:2881',
'logproxy.host' = 'localhost',
'logproxy.port' = '2983',
'working-mode' = 'memory'
);
CREATE TABLE doris_sink (
id INT,
name STRING,
age INT
)
WITH (
'connector' = 'doris',
'fenodes' = '10.16.10.6:28737',
'table.identifier' = 'test.student',
'username' = 'root',
'password' = ''
);
INSERT into doris_sink select * from student;
Nach dem Absenden der Aufgabe können Sie die gesamte Menge der synchronisierten Daten in Doris abfragen
mysql> select * from student;
+------+------------+------+
| id | name | age |
+------+------------+------+
| 1 | zhangsan01 | 18 |
| 2 | zhangsan02 | 23 |
| 3 | zhangsan03 | 30 |
| 4 | zhangsan04 | 35 |
| 5 | zhangsan05 | 40 |
+------+------------+------+
5 rows in set (0.01 sec)
Simulieren Sie als Nächstes neue Daten in OceanBase
MySQL [ob]> insert into student values(6, 'zhangsan06', 48)
-> ;
Query OK, 1 row affected (0.13 sec)
Nach dem Absenden der Aufgabe können Sie die synchronisierten neuen Daten in Doris abfragen
mysql> select * from student;
+------+------------+------+
| id | name | age |
+------+------------+------+
| 1 | zhangsan01 | 18 |
| 2 | zhangsan02 | 23 |
| 3 | zhangsan03 | 30 |
| 4 | zhangsan04 | 35 |
| 5 | zhangsan05 | 40 |
| 6 | zhangsan06 | 48 |
+------+------------+------+
6 rows in set (0.02 sec)
Hinweis: Die Versionen OceanBase 3.x und 4.x werden unterstützt. Sie müssen auf die Versionsübereinstimmungsbeziehung zwischen OBLogProxy und OceanBase achten
04 Verwenden Sie Outfile zum Exportieren
Sie können auch die Outfile-Funktion von Oceanbase verwenden, um Daten lokal oder OSS zu exportieren und Daten basierend auf den Stream Load/S3 Load-Funktionen von Doris in Doris zu importieren. Hier ist eine lokale Datei als Beispiel:
MySQL [ob]> select * from student;
+----+------------+------+
| id | name | age |
+----+------------+------+
| 1 | zhangsan01 | 18 |
| 2 | zhangsan02 | 23 |
| 3 | zhangsan03 | 30 |
| 4 | zhangsan04 | 35 |
| 5 | zhangsan05 | 40 |
| 6 | zhangsan06 | 48 |
+----+------------+------+
6 rows in set (0.00 sec)
MySQL [ob]> SELECT id,name,age INTO OUTFILE '/home/student.csv'
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n' FROM student;
Query OK, 3 rows affected (0.01 sec)
#cat student.csv
1,zhangsan01,18
2,zhangsan02,23
3,zhangsan03,30
4,zhangsan04,35
5,zhangsan05,40
6,zhangsan06,48
Führen Sie Stream Load in Doris aus und importieren Sie lokale Dateien in Doris
curl --location-trusted -u root: -H "column_separator:," -T student.csv http://127.0.0.1:28737/api/test/student/_stream_load
Nach Abschluss des Imports können die importierten Daten in Doris abgefragt werden
mysql> select * from student;
+------+------------+------+
| id | name | age |
+------+------------+------+
| 1 | zhangsan01 | 18 |
| 2 | zhangsan02 | 23 |
| 3 | zhangsan03 | 30 |
| 4 | zhangsan04 | 35 |
| 5 | zhangsan05 | 40 |
| 6 | zhangsan06 | 48 |
+------+------------+------+
6 rows in set (0.05 sec)
Datentypzuordnung
Die OceanBase-Datenbank kann sowohl den MySQL- als auch den Oracle-Modus im selben System unterstützen, daher ist die Typzuordnung von Apache Doris auch die gleiche wie bei MySQL und Oracle. Das bedeutet, dass OceanBase, wenn es eine Mapping-Beziehung mit Apache Doris herstellt, Tabellen und Spalten gemäß der folgenden Tabelle definieren kann, um reibungslose Datenmigrations-/Synchronisierungsvorgänge zu ermöglichen.
01 MySQL-Schematypzuordnung
Einzelheiten finden Sie im JDBC-Katalog – MySQL-Dokumentation
02 Oracle-Schematypzuordnung
Einzelheiten finden Sie im JDBC-Katalog – Oracle-Dokumentation
Abschluss
In diesem Artikel werden verschiedene Möglichkeiten zum Synchronisieren von OceanBase-Daten mit Doris vorgestellt, die den Synchronisierungsanforderungen verschiedener Szenarien gerecht werden können. Wenn Sie Offline-Daten synchronisieren müssen, können Sie die Methode DataX/Catalog/Outfile wählen. Wenn Sie Echtzeitdaten synchronisieren müssen, können Sie direkt die Flink-CDC-Methode auswählen. Darüber hinaus kann über Flink CDC sowohl die vollständige Datensynchronisierung als auch die inkrementelle Datensynchronisierung durchgeführt werden.
Linus hat es sich zur Aufgabe gemacht, zu verhindern, dass Kernel-Entwickler Tabulatoren durch Leerzeichen ersetzen. Sein Vater ist einer der wenigen Führungskräfte, die Code schreiben können, sein zweiter Sohn ist Direktor der Open-Source-Technologieabteilung und sein jüngster Sohn ist ein Open-Source-Core Mitwirkender : Natürliche Sprache wird immer weiter hinter Huawei zurückfallen: Es wird 1 Jahr dauern, bis 5.000 häufig verwendete mobile Anwendungen vollständig auf Hongmeng migriert sind Der Rich - Text-Editor Quill 2.0 wurde mit einer deutlich verbesserten Erfahrung von Ma Huateng und „ Meta Llama 3 “ veröffentlicht Quelle von Laoxiangji ist nicht der Code, die Gründe dafür sind sehr herzerwärmend. Google hat eine groß angelegte Umstrukturierung angekündigt