Auteur | Équipe technique SelectDB
En tant que base de données distribuée largement reconnue, OceanBase a été largement utilisée dans de nombreux systèmes d'entreprise critiques. Dans la communauté Apache Doris , de nombreux utilisateurs choisissent de créer de puissants liens de traitement et d'analyse de données basés sur OceanBase et Apache Doris. Cet article présentera en détail comment migrer/synchroniser les données d'OceanBase vers Apache Doris de manière pratique et efficace.
Guide pratique
00 Préparation de l'environnement
Utilisez Docker pour démarrer le service Oceanbase. Pour créer l'environnement OceanBase Docker, veuillez vous référer à la documentation Oceanbase - Utiliser Docker pour déployer la base de données OceanBase.
docker run -p 2881:2881 --name oceanbase -e MINI_MODE=1 -d oceanbase/oceanbase-ce:4.0.0.0
Créez une table dans OceanBase et ajoutez des données
[root@VM-10-6-centos ~]$ mysql -h127.0.0.1 -P2881 -uroot
mysql> CREATE DATABASE ob;
Query OK, 1 row affected (0.01 sec)
mysql> use ob;
Database changed
mysql> CREATE TABLE student (
-> id int,
-> name varchar(256),
-> age int,
-> primary key (id)
-> );
Query OK, 0 rows affected (0.06 sec)
mysql> insert into student values(1, 'zhangsan01', 18),
-> (2, 'zhangsan02', 23),
-> (3, 'zhangsan03', 30),
-> (4, 'zhangsan04', 35),
-> (5, 'zhangsan05', 40);
Query OK, 5 rows affected (0.01 sec)
Records: 5 Duplicates: 0 Warnings: 0
Créer une table dans Doris
[root@VM-10-6-centos ~]$ mysql -h127.0.0.1 -P9030 -uroot -p
mysql> CREATE TABLE `student` (
-> id int,
-> `name` varchar(256),
-> `age` int
-> ) ENGINE=OLAP
-> UNIQUE KEY(`id`)
-> COMMENT 'OLAP'
-> DISTRIBUTED BY HASH(`id`) BUCKETS 1
-> PROPERTIES (
-> "replication_allocation" = "tag.location.default: 1"
-> );
Query OK, 0 rows affected (0.06 sec)
01 Synchroniser à l'aide de DataX
DataX est une version open source de l'intégration de données Alibaba Cloud DataWorks. Elle fournit deux composants, OceanBaseReader et DorisWriter, qui peuvent facilement migrer les données d'OceanBase vers Doris. Les étapes d'utilisation spécifiques sont :
1. Téléchargez DataX
2. Écrivez le fichier de configuration DataX
{
"job": {
"setting": {
"speed": {
"channel": 1
}
},
"content": [
{
"reader": {
"name": "oceanbasev10reader",
"parameter": {
"username": "root",
"password": "123456",
"column": ["*"],
"connection": [
{
"table": ["student"],
"jdbcUrl": ["jdbc:oceanbase://127.0.0.1:2881/ob"]
}
]
}
},
"writer": {
"name": "doriswriter",
"parameter": {
"loadUrl": ["127.0.0.1:28737"],
"loadProps": {
},
"column": ["*"],
"username": "root",
"password": "",
"postSql": [],
"preSql": [],
"flushInterval":10000,
"connection": [
{
"jdbcUrl": "jdbc:mysql://127.0.0.1:29737/test",
"selectedDatabase": "test",
"table": ["student"]
}
],
"loadProps": {
"format": "json",
"strip_outer_array": true
}
}
}
}
]
}
}
Pour plus de configuration, veuillez vous référer à Oceanbasev10reader et DorisWriter .
3. Exécutez le script DataX
python2 bin/datax.py oceanbase2doris.json
4. Synchronisation complète des données Les données dans Doris sont :
mysql> select * from student;
+------+------------+------+
| id | name | age |
+------+------------+------+
| 1 | zhangsan01 | 18 |
| 2 | zhangsan02 | 23 |
| 3 | zhangsan03 | 30 |
| 4 | zhangsan04 | 35 |
| 5 | zhangsan05 | 40 |
+------+------------+------+
5 rows in set (0.02 sec)
02 Utiliser la synchronisation du catalogue
À l'aide de la fonction Catalog prise en charge par Apache Doris , la table de données d'Oceanbase peut être mappée sur Doris et les données peuvent être synchronisées avec Doris via Insertion.
Téléchargez le package de pilotes OceanBase dans les jdbc_driversrépertoires FE et BE et exécutez les opérations dans le code suivant dans l'ordre :
-- 创建catalog
CREATE CATALOG jdbc_oceanbase PROPERTIES (
"type"="jdbc",
"user"="root",
"password"="123456",
"jdbc_url" = "jdbc:oceanbase://127.0.0.1:2881/ob",
"driver_url" = "oceanbase-client-2.4.2.jar",
"driver_class" = "com.oceanbase.jdbc.Driver"
)
-- 在doris中查询oceanbase的表
mysql> select * from jdbc_oceanbase.ob.student;
+------+------------+------+
| id | name | age |
+------+------------+------+
| 1 | zhangsan01 | 18 |
| 2 | zhangsan02 | 23 |
| 3 | zhangsan03 | 30 |
| 4 | zhangsan04 | 35 |
| 5 | zhangsan05 | 40 |
+------+------------+------+
5 rows in set (0.02 sec)
mysql> CREATE TABLE internal.test.student
-> PROPERTIES("replication_num" = "1")
-> AS SELECT * FROM jdbc_oceanbase.ob.student;
Query OK, 5 rows affected (0.07 sec)
{'label':'label_139f7d7f13ba491b_85038d67c9e3ae32', 'status':'VISIBLE', 'txnId':'12014'}
mysql> select * from internal.test.student;
+------+------------+------+
| id | name | age |
+------+------------+------+
| 5 | zhangsan05 | 40 |
| 1 | zhangsan01 | 18 |
| 2 | zhangsan02 | 23 |
| 4 | zhangsan04 | 35 |
| 3 | zhangsan03 | 30 |
+------+------------+------+
5 rows in set (0.03 sec)
03 Utiliser la synchronisation Flink CDC
Flink CDC fournit le connecteur OceanBase CDC , permettant de lire des données instantanées et des données incrémentielles à partir d'OceanBase. Les étapes spécifiques sont les suivantes :
1. Préparer l'environnement
Démarrez OceanBase et OBLogProxy
docker pull oceanbase/oceanbase-ce:4.0.0.0
docker run --name oceanbase --network=host -e MINI_MODE=1 -d oceanbase/oceanbase-ce:4.0.0.0
docker pull whhe/oblogproxy:1.1.0_4x
docker run --network=host --name oceanbase_proxy -e OB_SYS_USERNAME=root -e OB_SYS_PASSWORD=123456 -d whhe/oblogproxy:1.1.0_4x
2. Définir le mot de passe
Dans OceanBase, l'utilisateur Root n'a pas de mot de passe par défaut. OBLogProxy nécessite un utilisateur locataire système avec un mot de passe non vide, vous devez donc d'abord définir un mot de passe pour l'utilisateur root @sys .
-- 登陆root用户的sys租户，
mysql -h127.0.0.1 -P2881 -uroot@sys
-- 设置密码为上面的OB_SYS_PASSWORD
MySQL [(none)]> ALTER USER root IDENTIFIED BY '123456';
Query OK, 0 rows affected (0.02 sec)
-- 进入root用户的test租户，单独设置密码test
mysql -h127.0.0.1 -P2881 -uroot@test
MySQL [(none)]> ALTER USER root IDENTIFIED BY 'test';
Query OK, 0 rows affected (0.02 sec)
-- 创建数据库表和数据
mysql> CREATE DATABASE ob;
mysql> USE ob;
mysql> CREATE TABLE student (
-> id int,
-> name varchar(256),
-> age int,
-> primary key (id)
-> );
Query OK, 0 rows affected (0.06 sec)
mysql> insert into student values(1, 'zhangsan01', 18),
-> (2, 'zhangsan02', 23),
-> (3, 'zhangsan03', 30),
-> (4, 'zhangsan04', 35),
-> (5, 'zhangsan05', 40);
Query OK, 5 rows affected (0.01 sec)
Records: 5 Duplicates: 0 Warnings: 0
3. Configuration de l'environnement Flink
Placez le package jar OceanBase CDC et Doris Connector dans FLINK_HOME/lible répertoire et redémarrez le cluster Flink.
4. Exécuter les tâches Flink SQL
SET 'execution.checkpointing.interval' = '3s';
CREATE TABLE student (
id INT,
name STRING,
age INT,
PRIMARY KEY (id) NOT ENFORCED
) WITH (
'connector' = 'oceanbase-cdc',
'scan.startup.mode' = 'initial',
'username' = 'root@test',
'password' = 'test',
'tenant-name' = 'test',
'database-name' = 'ob',
'table-name' = 'student',
'hostname' = 'localhost',
'port' = '2881',
'rootserver-list' = '127.0.0.1:2882:2881',
'logproxy.host' = 'localhost',
'logproxy.port' = '2983',
'working-mode' = 'memory'
);
CREATE TABLE doris_sink (
id INT,
name STRING,
age INT
)
WITH (
'connector' = 'doris',
'fenodes' = '10.16.10.6:28737',
'table.identifier' = 'test.student',
'username' = 'root',
'password' = ''
);
INSERT into doris_sink select * from student;
Après avoir soumis la tâche, vous pouvez interroger la quantité totale de données synchronisées dans Doris
mysql> select * from student;
+------+------------+------+
| id | name | age |
+------+------------+------+
| 1 | zhangsan01 | 18 |
| 2 | zhangsan02 | 23 |
| 3 | zhangsan03 | 30 |
| 4 | zhangsan04 | 35 |
| 5 | zhangsan05 | 40 |
+------+------------+------+
5 rows in set (0.01 sec)
Ensuite, simulez de nouvelles données dans OceanBase
MySQL [ob]> insert into student values(6, 'zhangsan06', 48)
-> ;
Query OK, 1 row affected (0.13 sec)
Après avoir soumis la tâche, vous pouvez interroger les nouvelles données synchronisées dans Doris
mysql> select * from student;
+------+------------+------+
| id | name | age |
+------+------------+------+
| 1 | zhangsan01 | 18 |
| 2 | zhangsan02 | 23 |
| 3 | zhangsan03 | 30 |
| 4 | zhangsan04 | 35 |
| 5 | zhangsan05 | 40 |
| 6 | zhangsan06 | 48 |
+------+------------+------+
6 rows in set (0.02 sec)
Remarque : les versions OceanBase 3.x et 4.x sont prises en charge. Vous devez faire attention à la relation de correspondance de version entre OBLogProxy et OceanBase. Pour plus de détails, veuillez vous référer à la version GitHub.
04 Utiliser Outfile pour exporter
Vous pouvez également utiliser la fonction Outfile d'Oceanbase pour exporter des données vers un format local ou OSS, et importer des données dans Doris en fonction des capacités Stream Load/S3 Load de Doris. Voici un fichier local à titre d'exemple :
MySQL [ob]> select * from student;
+----+------------+------+
| id | name | age |
+----+------------+------+
| 1 | zhangsan01 | 18 |
| 2 | zhangsan02 | 23 |
| 3 | zhangsan03 | 30 |
| 4 | zhangsan04 | 35 |
| 5 | zhangsan05 | 40 |
| 6 | zhangsan06 | 48 |
+----+------------+------+
6 rows in set (0.00 sec)
MySQL [ob]> SELECT id,name,age INTO OUTFILE '/home/student.csv'
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n' FROM student;
Query OK, 3 rows affected (0.01 sec)
#cat student.csv
1,zhangsan01,18
2,zhangsan02,23
3,zhangsan03,30
4,zhangsan04,35
5,zhangsan05,40
6,zhangsan06,48
Exécutez Stream Load dans Doris et importez des fichiers locaux dans Doris
curl --location-trusted -u root: -H "column_separator:," -T student.csv http://127.0.0.1:28737/api/test/student/_stream_load
Une fois l'importation terminée, les données importées peuvent être interrogées dans Doris
mysql> select * from student;
+------+------------+------+
| id | name | age |
+------+------------+------+
| 1 | zhangsan01 | 18 |
| 2 | zhangsan02 | 23 |
| 3 | zhangsan03 | 30 |
| 4 | zhangsan04 | 35 |
| 5 | zhangsan05 | 40 |
| 6 | zhangsan06 | 48 |
+------+------------+------+
6 rows in set (0.05 sec)
Mappage des types de données
La base de données OceanBase peut prendre en charge les modes MySQL et Oracle dans le même système, de sorte que le mappage de type Apache Doris est également le même que celui de MySQL et Oracle. Cela signifie que lorsque OceanBase établit une relation de mappage avec Apache Doris, il peut définir des tables et des colonnes selon le tableau ci-dessous pour créer des opérations de migration/synchronisation de données fluides.
01 Mappage des types de schéma MySQL
Pour plus de détails, veuillez consulter : Catalogue JDBC - Documentation MySQL
02 Mappage des types de schéma Oracle
Pour plus de détails, veuillez consulter : Catalogue JDBC - Documentation Oracle
Conclusion
Cet article présente diverses façons de synchroniser les données OceanBase avec Doris, qui peuvent répondre aux besoins de synchronisation de différents scénarios. Si vous devez synchroniser des données hors ligne, vous pouvez choisir la méthode DataX/Catalog/Outfile ; si vous devez synchroniser des données en temps réel, vous pouvez directement choisir la méthode Flink CDC. De plus, la synchronisation complète des données et la synchronisation incrémentielle des données peuvent être effectuées via Flink CDC.
Linus a pris sur lui d'empêcher les développeurs du noyau de remplacer les tabulations par des espaces. Son père est l'un des rares dirigeants capables d'écrire du code, son deuxième fils est directeur du département de technologie open source et son plus jeune fils est un noyau open source. contributeur. Robin Li : Le langage naturel deviendra un nouveau langage de programmation universel. Le modèle open source prendra de plus en plus de retard sur Huawei : il faudra 1 an pour migrer complètement 5 000 applications mobiles couramment utilisées vers Java, qui est le langage le plus enclin . vulnérabilités tierces. L'éditeur de texte riche Quill 2.0 a été publié avec des fonctionnalités, une fiabilité et des développeurs. L'expérience a été grandement améliorée. Bien que l'ouverture soit terminée, Meta Llama 3 a été officiellement publié. la source de Laoxiangji n'est pas le code, les raisons derrière cela sont très réconfortantes. Google a annoncé une restructuration à grande échelle.