Пошаговое руководство МО | Как использовать SeaTunnel для записи данных в MatrixOne

[Предварительный просмотр прямой трансляции] Облачная виртуальная машина за 99 юаней × Собственная облачная архитектура за 9 юаней √

1 Обзор

SeaTunnel — это распределенная, высокопроизводительная, легко масштабируемая платформа интеграции данных, которая фокусируется на синхронизации и преобразовании больших объемов данных (включая офлайн-данные и данные в реальном времени). MatrixOne поддерживает использование SeaTunnel для синхронизации данных из других баз данных и может стабильно и эффективно обрабатывать десятки миллиардов данных.

В этом документе рассказывается, как использовать SeaTunnel для записи данных в MatrixOne.

2. Подготовка перед стартом

Прежде чем использовать SeaTunnel для записи данных в MatrixOne, обязательно выполните следующие приготовления:

Установка и запуск MatrixOne завершены.
Установка SeaTunnel версии 2.3.3 завершена. После завершения установки вы можете определить путь установки SeaTunnel через командную строку оболочки:

export SEATNUNNEL_HOME="/root/seatunnel"

3 рабочих шага

Создать тестовые данные

Шаг 1

Создайте базу данных MySQL с именем test1 и создайте в ней таблицу с именем test_table, которая хранится в mysql.sql в корневом каталоге. Ниже приведен оператор DDL для MySQL:

create database test1;
use test1;
CREATE TABLE `test_table` (
  `name` varchar(255) DEFAULT NULL,
  `age` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

Шаг 2

Используйте инструмент mo_ctl для импорта операторов DDL MySQL непосредственно в MatrixOne. Выполните следующую команду:

mo_ctl sql /root/mysql.sql

Установите плагин «Коннекторы»

В этом документе рассказывается, как использовать подключаемый модуль подключения SeaTunnel Connector-jdbc для подключения к MatrixOne.

Шаг 1

В файл ${SEATNUNNEL_HOME}/config/plugin_config SeaTunnel добавьте следующее:

--connectors-v2--
connector-jdbc
--end--

Шаг 2

Двоичный пакет SeaTunnel версии 2.3.3 по умолчанию не предоставляет зависимости соединителя. Чтобы установить соединитель при первом использовании SeaTunnel, необходимо выполнить следующую команду:

sh bin/install-plugin.sh 2.3.3

4. Определите файлы конфигурации задачи.

В этом документе мы используем таблицу test_table базы данных MySQL в качестве источника данных, не выполняя обработку данных, и напрямую записываем данные в таблицу test_table базы данных MatrixOne.

Затем из-за проблем с совместимостью данных необходимо настроить файл конфигурации задачи ${SEATNUNNEL_HOME}/config/v2.batch.config.template, который определяет методы и логику ввода, обработки и вывода данных после запуска SeaTunnel.

Отредактируйте файл конфигурации следующим образом:

env {
  execution.parallelism = 2
  job.mode = "BATCH"
}

source {
    Jdbc {
        url = "jdbc:mysql://192.168.110.40:3306/test"
        driver = "com.mysql.cj.jdbc.Driver"
        connection_check_timeout_sec = 100
        user = "root"
        password = "123456"
        query = "select * from test_table"
    }
}

transform {

}

sink {
   jdbc {
        url = "jdbc:mysql://192.168.110.248:6001/test"
        driver = "com.mysql.cj.jdbc.Driver"
        user = "root"
        password = "111"
        query = "insert into test_table(name,age) values(?,?)"
   }
}

Установить зависимости базы данных

Загрузите mysql-connector-java-8.0.33.jar и скопируйте файл в каталог ${SEATNUNNEL_HOME}/plugins/jdbc/lib/.

Запустите приложение SeaTunnel.

Выполните следующую команду, чтобы запустить приложение SeaTunnel:

./bin/seatunnel.sh --config ./config/v2.batch.config.template -e local

Посмотреть результаты бега

После запуска SeaTunnel будут отображены статистические результаты, аналогичные следующим, суммирующие время записи, общее количество прочитанных данных, общее количество записей и общее количество ошибок записи:

***********************************************
           Job Statistic Information
***********************************************
Start Time                : 2023-08-07 16:45:02
End Time                  : 2023-08-07 16:45:05
Total Time(s)             :                   3
Total Read Count          :             5000000
Total Write Count         :             5000000
Total Failed Count        :                   0
***********************************************

Вы успешно синхронно записали данные из базы данных MySQL в базу данных MatrixOne.

О MatrixOne

MatrixOne — это многорежимная база данных, основанная на облачной технологии, которую можно развертывать как в общедоступных, так и в частных облаках. Этот продукт использует оригинальную техническую архитектуру, которая разделяет хранилище и вычисления, разделение чтения и записи, а также разделение горячего и холодного. Он может одновременно поддерживать несколько нагрузок, таких как транзакции, анализ, поток, синхронизация и вектор, в наборе хранилища и вычислительные системы и могут работать в режиме реального времени и по требованию. Изолированные или общие ресурсы хранения и вычислительные ресурсы. Облачная база данных MatrixOne может помочь пользователям значительно упростить все более сложную ИТ-архитектуру и предоставить минималистичные, чрезвычайно гибкие, экономичные и высокопроизводительные услуги передачи данных.

С момента своего выпуска MatrixOne Enterprise Edition и MatrixOne Cloud Services применяются во многих отраслях, таких как Интернет, финансы, энергетика, производство, образование и здравоохранение. Благодаря уникальному архитектурному дизайну пользователи могут сократить затраты на оборудование, эксплуатацию и обслуживание до 70%, повысить эффективность разработки в 3-5 раз и в то же время более гибко реагировать на изменения рыночного спроса и более эффективно использовать инновационные возможности. . Инвестируя в то же оборудование, MatrixOne может добиться повышения производительности в несколько раз.

MatrixOne придерживается концепции открытого исходного кода и экологического совместного строительства.Все основные коды имеют открытый исходный код и полностью совместимы с протоколом MySQL.MatrixOne совместно с партнерами создала множество комплексных решений, что значительно снижает затраты пользователей на миграцию и использование. и помогает пользователям избежать проблем с поставками.Риск привязки к поставщику.

Официальный сайт MatrixOrigin: Новое поколение гиперконвергентной гетерогенной базы данных с открытым исходным кодом — MatrixOrigin (Shenzhen) Information Technology Co., Ltd. MatrixOne

Гиперконвергентная собственная база данных на границе облака

Ключевые слова : гиперконвергентная база данных, многорежимная база данных, облачная база данных, внутренняя база данных.