Parte del contenido se extrae directamente del sitio web oficial de Ali como antecedentes y descripción general:
antecedentes
En el escenario empresarial de datos en tiempo real, el vínculo más común es limpiar inicialmente los datos recopilados en tiempo real a través del cálculo en tiempo real, escribir los datos en la base de datos en tiempo real y luego conectarse con las herramientas de BI para realizar el análisis visual. de los datos. El flujo de procesamiento de datos se muestra en la siguiente figura.
En todo el vínculo comercial, la base de datos es necesaria para proporcionar servicios informáticos de alto rendimiento, almacenar cantidades masivas de datos y conectar varias herramientas de análisis de BI al mismo tiempo. Es difícil que una sola base de datos logre todas las funciones anteriores. Debe utilizar las capacidades relevantes de otras bases de datos para completar el proceso comercial.
Al importar y exportar datos, se generará almacenamiento redundante y se desperdiciarán recursos de almacenamiento. Al mismo tiempo, es necesario mantener múltiples sistemas, lo que agrega un cierto grado de dificultad al desarrollo, operación y mantenimiento.
Descripción general
Para resolver los puntos débiles del negocio en escenarios en tiempo real, Hologres proporciona una interfaz API de datos en tiempo real. Los datos comerciales y los datos de registro pueden llamar directamente a la interfaz API de datos en tiempo real, escribir datos en tiempo real y luego Hologres proporciona servicios informáticos de alto rendimiento y servicios de almacenamiento masivo de datos. El flujo de procesamiento de datos se muestra en la siguiente figura.
En todo el enlace comercial, no es necesario importar y exportar datos, y los datos escritos se almacenan en Hologres de manera uniforme, sin almacenamiento redundante, lo que ahorra recursos informáticos y de almacenamiento. Un conjunto de sistemas puede satisfacer sus múltiples necesidades, ahorrando costos de desarrollo, operación y mantenimiento.
Blink escribe datos en tiempo real:
请确保开通的实时计算与Hologres地域一致，以免连接失败。（不是跨Region的服务）
Blink 3.6之前的版本未内置Hologres Connector（注意版本），实时写入数据至Hologres需要引用JAR文件，您可以提交工单或通过Hologres交流群（钉钉群号：32314975）获取。
当Hologres中接收数据的表已设置主键，默认按照主键更新实时写入的数据。（按照PK的update time写入）
如果使用批处理方式导入数据，则需要设置BatchSize并使用HoloHub的Endpoint。
Utilice la versión blink-3.4.4 (predeterminada) ~
Pasos
Este caso demuestra cómo generar aleatoriamente números aleatorios en cálculos en tiempo real y consultar datos en tiempo real en análisis interactivo. (Puede consultar el documento para conocer todo el contenido de esta demostración: consulta de escritura de datos en tiempo real en tiempo real)
Plataforma de uso: plataforma informática en tiempo real, HoloStudio
Nota: Este caso se centra en la demostración de los pasos de la operación, los datos son datos generados aleatoriamente, el negocio real, por favor, procese de acuerdo con los datos de la escena real)
1. Análisis interactivo y creación de tablas
Inicie sesión en HoloStudio y cree una tabla interna para recibir datos. La declaración de creación de la tabla de ejemplo es la siguiente:
create table test(a int, b text, c text, d float8, e int8);
2. Cálculo en tiempo real listo para operación en tiempo real
Inicie sesión en la plataforma informática en tiempo real, cree un nuevo desarrollo de trabajo y complete el trabajo. La tarea principal es establecer una conexión entre el cálculo en tiempo real y el análisis interactivo, e importar datos. El SQL de muestra es el siguiente:
// Simular la cola de mensajes para generar datos aleatoriamente
create table randomSource (a int, b VARCHAR , c VARCHAR , d DOUBLE, e BIGINT) with (type = 'random');
// Establezca la información de la tabla de conexión para el cálculo en tiempo real y el análisis interactivo, se requiere la siguiente información de la cadena de conexión
create table blink_test_demo (
a INT ,
b VARCHAR ,
c VARCHAR ,
d DOUBLE,
e BIGINT,
PRIMARY KEY (a)
) with (
type = 'custom',
tableFactoryClass = 'com.alibaba.blink.connectors.hologres.HologresTableFactory',
`endpoint` = '交互式分析实例VPC网络地址:交互式分析实例VPC网络端口',
`userName` = '当前账号的Access ID',
`password` = '当前账号的Access Key',
`dbName` = '要连接的交互式分析数据库名',
`tableName` = '交互式分析中用于接收数据的表'
);
// Importar datos a la tabla de conexiones
insert
into blink_test_demo
select
a,b,c,d,e
from
randomSource;
Habrá un error durante la revisión gramatical: esto se debe a que falta una referencia al paquete jar de conexión de hologres, y el paquete jar (blink-connector-hologres-07-demo.jar) se importará a continuación.
Después de completar la tarea, seleccione Referencia de recursos en la barra de menú izquierda de cálculo en tiempo real y haga referencia al paquete de recursos (Paquete de recursos: http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/ attach / 170591 /cn_en/1591698479126/blink-connector-hologres-07-demo%281%29.jar?spm=a2c4g.11186623.2.23.ff644333ZjOaJX&file=blink-connector-hologres-07-demo%281%29.jar)
Luego guarde y realice otra verificación de sintaxis:
El siguiente paso es iniciar trabajos online en tiempo real. Elija conectarse en línea:
Iniciar trabajo: envíe el trabajo al entorno de producción para que se ejecute. Haga clic en O&M en la esquina superior izquierda para iniciar el trabajo manualmente. (El trabajo tarda entre 1 y 2 minutos en iniciarse y generar información, espere pacientemente)
Análisis interactivo para leer datos en tiempo real
Una vez que los cálculos en tiempo real tienen datos de salida, puede ir a HoloStudio para realizar consultas de datos en tiempo real.
Puede ver que el TPS es de 2 Bloques / s, y también puede ajustar el tamaño del baño;
Ejecute aleatoriamente dos pruebas SQL:
SELECT * FROM test;
SELECT COUNT (*) FROM test;
¡Hecho!