7. Capítulo 7 Práctica de caso de Hudi
7.1 Estructura del caso
7.2 Datos comerciales
7.2.1 Tabla de información del cliente
7.2.2 Tabla de intención del cliente
7.2.3 Tabla de clientes potenciales
7.2.4 Tabla de quejas de pistas
7.2.5 Tabla de registro de consultas de visitas del cliente
7.3 Realización de Flink CDC tiempo Recopilación de datos
7.3.1 Open MySQL binlog
7.3.2 Preparación del entorno
7.3.3 Recopilación de datos en tiempo real 7.3.3.1
Formulario de información del cliente
7.3.3.2 Formulario de intención del cliente
7.3.3.3 Formulario de cliente potencial
7.3.3.4 Formulario de queja del cliente
7.3.3.5 Cliente registro de consulta de visita Tabla
7.4 Análisis ad hoc de Presto
7.4.1 Qué es Presto
7.4.2 Instalación e implementación de Presto
7.4.3 Tabla de creación de Hive
7.4.3.1 Creación de base de datos
7.4.3.2 Tabla de información del cliente
7.4.3.3 Tabla de intención del cliente
7.4.3.4 Cliente potencial Tabla
7.4.3.5 Formulario de apelación del cliente
7.4.3.6 Formulario de registro de consulta de acceso del cliente
7.4.4 Análisis de índice fuera de línea
7.4.4.1 Volumen de solicitud diario
7.4.4.2 Volumen de visita diaria
7.4.4.3 Número de intención diaria
7.4.4.4 Leads diarios
7.5 Análisis de streaming de Flink SQL
7.5.1 Requisitos comerciales
7.5.2 Crear tablas MySQL
7.5.3 Análisis de indicadores en tiempo real
7.5.3.1 Visitas de hoy
7.5.3.2 Consultas de hoy
7.5.3.3 Intenciones de hoy
7.5.3.4 Número de solicitantes hoy
7.5.3.5 Número de leads efectivos hoy
7.6 Visualización de informes FineBI
7. Capítulo 7 Estudio de caso de Hudi
La plataforma de análisis de big data de Chuanzhi Education, lo más destacado es "verdadero". Este proyecto es desarrollado conjuntamente por Chuanzhi Education y las instituciones educativas K12 de tres partes, y se convierte en un curso después de su lanzamiento en línea. El proceso es real y Se adoptan tecnologías y herramientas de big data meticulosas y convencionales, principalmente para el análisis de diversos datos comerciales, como visitas, consultas, pistas, intenciones, registros, asistencia, etc. de clientes (principalmente estudiantes), para optimizar la calidad del servicio de la plataforma. de acuerdo con los resultados del análisis, y finalmente satisfacer las necesidades de los usuarios. El proyecto de plataforma de análisis de big data educativo tiene como objetivo aplicar la tecnología de big data al campo de la educación y la capacitación para brindar soporte de datos para las operaciones comerciales.
7.1 Arquitectura del caso
Este caso se basa en la integración de Flink SQL y Hudi. Los datos comerciales de la base de datos MySQL se recopilan y almacenan en la tabla Hudi en tiempo real. Presto y Flink SQL se utilizan para realizar análisis de consultas fuera de línea y transmitir datos de consultas respectivamente. Finalmente, el El informe se almacena en la base de datos MySQL y se utiliza finebi para integrarlo.Pantalla visual.
- 1. Base de datos MySQL:
almacenamiento de datos comerciales de clientes de educación de Chuanzhi y almacenamiento de resultados de informes de análisis en tiempo real sin conexión, visualización visual de la herramienta FineBI de acoplamiento.
-
2. Motor Flink SQL
Utilice CDC en Flink SQL para recopilar datos de la tabla de la base de datos MySQL en la tabla Hudi en tiempo real. Además, integre Hudi y MySQL basados en Flink SQL Connector, almacenamiento de datos y consultas. -
3. Apache Hudi: Data Lake Framework
Los datos comerciales de Chuanzhi Education finalmente se almacenan en la tabla Hudi (almacenamiento subyacente: sistema de archivos distribuidos HDFS), se administran de manera unificada los archivos de datos y luego se integran con Spark y Hive para el análisis de indicadores comerciales. -
4. Motor de análisis Presto
Un motor de consulta SQL distribuido de código abierto de Facebook, adecuado para análisis y consultas interactivos, el volumen de datos admite bytes de GB a PB.
En este caso, los datos se cargan directamente desde la tabla Hudi, que depende de Hive MetaStore para administrar los metadatos. Entre ellos, Presto puede integrar múltiples fuentes de datos para facilitar el procesamiento interactivo de datos. -
5. FineBI: herramienta de informes
Una herramienta de gráficos comercial de Fanruan Company, que facilita la elaboración de gráficos.
7.2 Datos comerciales
Los datos comerciales reales de este caso provienen de los datos comerciales (consulta, visita, registro, navegación, etc.) generados por el cliente real, y se almacenan en la base de datos MySQL: itcast_nev, utilizando la tabla comercial :
Inicie la base de datos MySQL, inicie sesión a través de la línea de comando, primero cree la base de datos, luego cree la tabla y finalmente importe los datos.
[root@node1 ~]# mysql -uroot -p123456
CREATE DATABASE IF NOT EXISTS itcast_nev;
USE itcast_nev;
7.2.1 Formulario de información del cliente
Tabla de información del cliente: cliente , crear tabla declaración DDL:
CREATE TABLE IF NOT EXISTS itcast_nev.customer (
`id` int(11) NOT NULL AUTO_INCREMENT,
`customer_relationship_id` int(11) DEFAULT NULL COMMENT '当前意向id',
`create_date_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`update_date_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间',
`deleted` bit(1) NOT NULL DEFAULT b'0' COMMENT '是否被删除（禁用）',
`name` varchar(128) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL DEFAULT '' COMMENT '姓名',
`idcard` varchar(24) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT '' COMMENT '身份证号',
`birth_year` int(5) DEFAULT NULL COMMENT '出生年份',
`gender` varchar(8) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT 'MAN' COMMENT '性别',
`phone` varchar(24) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL DEFAULT '' COMMENT '手机号',
`wechat` varchar(32) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT '' COMMENT '微信',
`qq` varchar(32) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT '' COMMENT 'qq号',
`email` varchar(56) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT '' COMMENT '邮箱',
`area` varchar(128) COLLATE utf8mb4_unicode_ci DEFAULT '' COMMENT '所在区域',
`leave_school_date` date DEFAULT NULL COMMENT '离校时间',
`graduation_date` date DEFAULT NULL COMMENT '毕业时间',
`bxg_student_id` varchar(64) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '博学谷学员ID，可能未关联到，不存在',
`creator` int(11) DEFAULT NULL COMMENT '创建人ID',
`origin_type` varchar(32) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL COMMENT '数据来源',
`origin_channel` varchar(32) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL COMMENT '来源渠道',
`tenant` int(11) NOT NULL DEFAULT '0',
`md_id` int(11) DEFAULT '0' COMMENT '中台id',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;
Importe los datos de información del cliente a la tabla con anticipación, use el comando: fuente
mysql> source /root/1-customer.sql ;
7.2.2 Formulario de intención del cliente
Tabla de intención del cliente: relación_cliente , crear tabla declaración DDL:
CREATE TABLE IF NOT EXISTS itcast_nev.customer_relationship(
`id` int(11) NOT NULL AUTO_INCREMENT,
`create_date_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
`update_date_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间',
`deleted` bit(1) NOT NULL DEFAULT b'0' COMMENT '是否被删除（禁用）',
`customer_id` int(11) NOT NULL DEFAULT '0' COMMENT '所属客户id',
`first_id` int(11) DEFAULT NULL COMMENT '第一条客户关系id',
`belonger` int(11) DEFAULT NULL COMMENT '归属人',
`belonger_name` varchar(10) DEFAULT NULL COMMENT '归属人姓名',
`initial_belonger` int(11) DEFAULT NULL COMMENT '初始归属人',
`distribution_handler` int(11) DEFAULT NULL COMMENT '分配处理人',
`business_scrm_department_id` int(11) DEFAULT '0' COMMENT '归属部门',
`last_visit_time` datetime DEFAULT NULL COMMENT '最后回访时间',
`next_visit_time` datetime DEFAULT NULL COMMENT '下次回访时间',
`origin_type` varchar(32) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL COMMENT '数据来源',
`itcast_school_id` int(11) DEFAULT NULL COMMENT '校区Id',
`itcast_subject_id` int(11) DEFAULT NULL COMMENT '学科Id',
`intention_study_type` varchar(32) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL COMMENT '意向学习方式',
`anticipat_signup_date` date DEFAULT NULL COMMENT '预计报名时间',
`level` varchar(8) DEFAULT NULL COMMENT '客户级别',
`creator` int(11) DEFAULT NULL COMMENT '创建人',
`current_creator` int(11) DEFAULT NULL COMMENT '当前创建人：初始==创建人，当在公海拉回时为 拉回人',
`creator_name` varchar(32) DEFAULT '' COMMENT '创建者姓名',
`origin_channel` varchar(32) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL COMMENT '来源渠道',
`comment` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT '' COMMENT '备注',
`first_customer_clue_id` int(11) DEFAULT '0' COMMENT '第一条线索id',
`last_customer_clue_id` int(11) DEFAULT '0' COMMENT '最后一条线索id',
`process_state` varchar(32) DEFAULT NULL COMMENT '处理状态',
`process_time` datetime DEFAULT NULL COMMENT '处理状态变动时间',
`payment_state` varchar(32) DEFAULT NULL COMMENT '支付状态',
`payment_time` datetime DEFAULT NULL COMMENT '支付状态变动时间',
`signup_state` varchar(32) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL COMMENT '报名状态',
`signup_time` datetime DEFAULT NULL COMMENT '报名时间',
`notice_state` varchar(32) DEFAULT NULL COMMENT '通知状态',
`notice_time` datetime DEFAULT NULL COMMENT '通知状态变动时间',
`lock_state` bit(1) DEFAULT b'0' COMMENT '锁定状态',
`lock_time` datetime DEFAULT NULL COMMENT '锁定状态修改时间',
`itcast_clazz_id` int(11) DEFAULT NULL COMMENT '所属ems班级id',
`itcast_clazz_time` datetime DEFAULT NULL COMMENT '报班时间',
`payment_url` varchar(1024) DEFAULT '' COMMENT '付款链接',
`payment_url_time` datetime DEFAULT NULL COMMENT '支付链接生成时间',
`ems_student_id` int(11) DEFAULT NULL COMMENT 'ems的学生id',
`delete_reason` varchar(64) DEFAULT NULL COMMENT '删除原因',
`deleter` int(11) DEFAULT NULL COMMENT '删除人',
`deleter_name` varchar(32) DEFAULT NULL COMMENT '删除人姓名',
`delete_time` datetime DEFAULT NULL COMMENT '删除时间',
`course_id` int(11) DEFAULT NULL COMMENT '课程ID',
`course_name` varchar(64) DEFAULT NULL COMMENT '课程名称',
`delete_comment` varchar(255) DEFAULT '' COMMENT '删除原因说明',
`close_state` varchar(32) DEFAULT NULL COMMENT '关闭装填',
`close_time` datetime DEFAULT NULL COMMENT '关闭状态变动时间',
`appeal_id` int(11) DEFAULT NULL COMMENT '申诉id',
`tenant` int(11) NOT NULL DEFAULT '0' COMMENT '租户',
`total_fee` decimal(19,0) DEFAULT NULL COMMENT '报名费总金额',
`belonged` int(11) DEFAULT NULL COMMENT '小周期归属人',
`belonged_time` datetime DEFAULT NULL COMMENT '归属时间',
`belonger_time` datetime DEFAULT NULL COMMENT '归属时间',
`transfer` int(11) DEFAULT NULL COMMENT '转移人',
`transfer_time` datetime DEFAULT NULL COMMENT '转移时间',
`follow_type` int(4) DEFAULT '0' COMMENT '分配类型，0-自动分配，1-手动分配，2-自动转移，3-手动单个转移，4-手动批量转移，5-公海领取',
`transfer_bxg_oa_account` varchar(64) DEFAULT NULL COMMENT '转移到博学谷归属人OA账号',
`transfer_bxg_belonger_name` varchar(64) DEFAULT NULL COMMENT '转移到博学谷归属人OA姓名',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Importe los datos de intención del cliente a la tabla con anticipación, use el comando: fuente
mysql> source /root/2-customer_relationship.sql ;
7.2.3 Formulario de cliente potencial
Tabla de pistas del cliente: customer_clue , crear tabla declaración DDL:
CREATE TABLE IF NOT EXISTS itcast_nev.customer_clue(
`id` int(11) NOT NULL AUTO_INCREMENT,
`create_date_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`update_date_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间',
`deleted` bit(1) NOT NULL DEFAULT b'0' COMMENT '是否被删除（禁用）',
`customer_id` int(11) DEFAULT NULL COMMENT '客户id',
`customer_relationship_id` int(11) DEFAULT NULL COMMENT '客户关系id',
`session_id` varchar(48) COLLATE utf8_bin DEFAULT '' COMMENT '七陌会话id',
`sid` varchar(48) COLLATE utf8_bin DEFAULT '' COMMENT '访客id',
`status` varchar(16) COLLATE utf8_bin DEFAULT '' COMMENT '状态（undeal待领取 deal 已领取 finish 已关闭 changePeer 已流转）',
`user` varchar(16) COLLATE utf8_bin DEFAULT '' COMMENT '所属坐席',
`create_time` datetime DEFAULT NULL COMMENT '七陌创建时间',
`platform` varchar(16) COLLATE utf8_bin DEFAULT '' COMMENT '平台来源 （pc-网站咨询|wap-wap咨询|sdk-app咨询|weixin-微信咨询）',
`s_name` varchar(32) COLLATE utf8_bin DEFAULT '' COMMENT '用户名称',
`seo_source` varchar(255) COLLATE utf8_bin DEFAULT '' COMMENT '搜索来源',
`seo_keywords` varchar(255) COLLATE utf8_bin DEFAULT '' COMMENT '关键字',
`ip` varchar(48) COLLATE utf8_bin DEFAULT '' COMMENT 'IP地址',
`referrer` text COLLATE utf8_bin COMMENT '上级来源页面',
`from_url` text COLLATE utf8_bin COMMENT '会话来源页面',
`landing_page_url` text COLLATE utf8_bin COMMENT '访客着陆页面',
`url_title` varchar(1024) COLLATE utf8_bin DEFAULT '' COMMENT '咨询页面title',
`to_peer` varchar(255) COLLATE utf8_bin DEFAULT '' COMMENT '所属技能组',
`manual_time` datetime DEFAULT NULL COMMENT '人工开始时间',
`begin_time` datetime DEFAULT NULL COMMENT '坐席领取时间 ',
`reply_msg_count` int(11) DEFAULT '0' COMMENT '客服回复消息数',
`total_msg_count` int(11) DEFAULT '0' COMMENT '消息总数',
`msg_count` int(11) DEFAULT '0' COMMENT '客户发送消息数',
`comment` varchar(1024) COLLATE utf8_bin DEFAULT '' COMMENT '备注',
`finish_reason` varchar(255) COLLATE utf8_bin DEFAULT '' COMMENT '结束类型',
`finish_user` varchar(32) COLLATE utf8_bin DEFAULT '' COMMENT '结束坐席',
`end_time` datetime DEFAULT NULL COMMENT '会话结束时间',
`platform_description` varchar(255) COLLATE utf8_bin DEFAULT '' COMMENT '客户平台信息',
`browser_name` varchar(255) COLLATE utf8_bin DEFAULT '' COMMENT '浏览器名称',
`os_info` varchar(255) COLLATE utf8_bin DEFAULT '' COMMENT '系统名称',
`area` varchar(255) COLLATE utf8_bin DEFAULT NULL COMMENT '区域',
`country` varchar(16) COLLATE utf8_bin DEFAULT '' COMMENT '所在国家',
`province` varchar(16) COLLATE utf8_bin DEFAULT '' COMMENT '省',
`city` varchar(255) COLLATE utf8_bin DEFAULT '' COMMENT '城市',
`creator` int(11) DEFAULT '0' COMMENT '创建人',
`name` varchar(64) COLLATE utf8_bin DEFAULT '' COMMENT '客户姓名',
`idcard` varchar(24) COLLATE utf8_bin DEFAULT '' COMMENT '身份证号',
`phone` varchar(24) COLLATE utf8_bin DEFAULT '' COMMENT '手机号',
`itcast_school_id` int(11) DEFAULT NULL COMMENT '校区Id',
`itcast_school` varchar(128) COLLATE utf8_bin DEFAULT '' COMMENT '校区',
`itcast_subject_id` int(11) DEFAULT NULL COMMENT '学科Id',
`itcast_subject` varchar(128) COLLATE utf8_bin DEFAULT '' COMMENT '学科',
`wechat` varchar(32) COLLATE utf8_bin DEFAULT '' COMMENT '微信',
`qq` varchar(32) COLLATE utf8_bin DEFAULT '' COMMENT 'qq号',
`email` varchar(56) COLLATE utf8_bin DEFAULT '' COMMENT '邮箱',
`gender` varchar(8) COLLATE utf8_bin DEFAULT 'MAN' COMMENT '性别',
`level` varchar(8) COLLATE utf8_bin DEFAULT NULL COMMENT '客户级别',
`origin_type` varchar(32) COLLATE utf8_bin DEFAULT '' COMMENT '数据来源渠道',
`information_way` varchar(32) COLLATE utf8_bin DEFAULT NULL COMMENT '资讯方式',
`working_years` date DEFAULT NULL COMMENT '开始工作时间',
`technical_directions` varchar(255) COLLATE utf8_bin DEFAULT '' COMMENT '技术方向',
`customer_state` varchar(32) COLLATE utf8_bin DEFAULT '' COMMENT '当前客户状态',
`valid` bit(1) DEFAULT b'0' COMMENT '该线索是否是网资有效线索',
`anticipat_signup_date` date DEFAULT NULL COMMENT '预计报名时间',
`clue_state` varchar(32) COLLATE utf8_bin DEFAULT 'NOT_SUBMIT' COMMENT '线索状态',
`scrm_department_id` int(11) DEFAULT NULL COMMENT 'SCRM内部部门id',
`superior_url` text COLLATE utf8_bin COMMENT '诸葛获取上级页面URL',
`superior_source` varchar(1024) COLLATE utf8_bin DEFAULT NULL COMMENT '诸葛获取上级页面URL标题',
`landing_url` text COLLATE utf8_bin COMMENT '诸葛获取着陆页面URL',
`landing_source` varchar(1024) COLLATE utf8_bin DEFAULT NULL COMMENT '诸葛获取着陆页面URL来源',
`info_url` text COLLATE utf8_bin COMMENT '诸葛获取留咨页URL',
`info_source` varchar(255) COLLATE utf8_bin DEFAULT NULL COMMENT '诸葛获取留咨页URL标题',
`origin_channel` varchar(32) COLLATE utf8_bin DEFAULT '' COMMENT '投放渠道',
`course_id` int(32) DEFAULT NULL,
`course_name` varchar(255) COLLATE utf8_bin DEFAULT NULL,
`zhuge_session_id` varchar(500) COLLATE utf8_bin DEFAULT NULL,
`is_repeat` int(4) NOT NULL DEFAULT '0' COMMENT '是否重复线索(手机号维度) 0:正常 1：重复',
`tenant` int(11) NOT NULL DEFAULT '0' COMMENT '租户id',
`activity_id` varchar(16) COLLATE utf8_bin DEFAULT NULL COMMENT '活动id',
`activity_name` varchar(64) COLLATE utf8_bin DEFAULT NULL COMMENT '活动名称',
`follow_type` int(4) DEFAULT '0' COMMENT '分配类型，0-自动分配，1-手动分配，2-自动转移，3-手动单个转移，4-手动批量转移，5-公海领取',
`shunt_mode_id` int(11) DEFAULT NULL COMMENT '匹配到的技能组id',
`shunt_employee_group_id` int(11) DEFAULT NULL COMMENT '所属分流员工组',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
Para preimportar datos de la tabla de clientes potenciales a la tabla, use el comando: fuente
mysql> source /root/3-customer_clue.sql;
7.2.4 Formulario de apelación principal
Tabla de apelación principal: customer_appeal , crear tabla declaración DDL:
CREATE TABLE IF NOT EXISTS itcast_nev.customer_appeal
(
id int auto_increment primary key COMMENT '主键',
customer_relationship_first_id int not NULL COMMENT '第一条客户关系id',
employee_id int NULL COMMENT '申诉人',
employee_name varchar(64) NULL COMMENT '申诉人姓名',
employee_department_id int NULL COMMENT '申诉人部门',
employee_tdepart_id int NULL COMMENT '申诉人所属部门',
appeal_status int(1) not NULL COMMENT '申诉状态，0:待稽核 1:无效 2：有效',
audit_id int NULL COMMENT '稽核人id',
audit_name varchar(255) NULL COMMENT '稽核人姓名',
audit_department_id int NULL COMMENT '稽核人所在部门',
audit_department_name varchar(255) NULL COMMENT '稽核人部门名称',
audit_date_time datetime NULL COMMENT '稽核时间',
create_date_time datetime DEFAULT CURRENT_TIMESTAMP NULL COMMENT '创建时间（申诉时间）',
update_date_time timestamp DEFAULT CURRENT_TIMESTAMP NULL ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
deleted bit DEFAULT b'0' not NULL COMMENT '删除标志位',
tenant int DEFAULT 0 not NULL
)ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;
Para importar previamente los datos de apelación de clientes potenciales a la tabla, use el comando: fuente
mysql> source /root/4-customer_appeal.sql ;
7.2.5 Formulario de registro de consulta de visita del cliente
Tabla de registro de consulta de acceso del cliente: web_chat_ems , creación de declaración DDL de tabla:
create table IF NOT EXISTS itcast_nev.web_chat_ems(
id int auto_increment primary key comment '主键' ,
create_date_time timestamp null comment '数据创建时间',
session_id varchar(48) default '' not null comment '七陌sessionId',
sid varchar(48) collate utf8_bin default '' not null comment '访客id',
create_time datetime null comment '会话创建时间',
seo_source varchar(255) collate utf8_bin default '' null comment '搜索来源',
seo_keywords varchar(512) collate utf8_bin default '' null comment '关键字',
ip varchar(48) collate utf8_bin default '' null comment 'IP地址',
area varchar(255) collate utf8_bin default '' null comment '地域',
country varchar(16) collate utf8_bin default '' null comment '所在国家',
province varchar(16) collate utf8_bin default '' null comment '省',
city varchar(255) collate utf8_bin default '' null comment '城市',
origin_channel varchar(32) collate utf8_bin default '' null comment '投放渠道',
user varchar(255) collate utf8_bin default '' null comment '所属坐席',
manual_time datetime null comment '人工开始时间',
begin_time datetime null comment '坐席领取时间 ',
end_time datetime null comment '会话结束时间',
last_customer_msg_time_stamp datetime null comment '客户最后一条消息的时间',
last_agent_msg_time_stamp datetime null comment '坐席最后一下回复的时间',
reply_msg_count int(12) default 0 null comment '客服回复消息数',
msg_count int(12) default 0 null comment '客户发送消息数',
browser_name varchar(255) collate utf8_bin default '' null comment '浏览器名称',
os_info varchar(255) collate utf8_bin default '' null comment '系统名称'
);
Para preimportar registros de consultas de acceso a la tabla, use el comando: fuente
mysql> source /root/5-web_chat_ems.sql;
7.3 Recopilación de datos en tiempo real de Flink CDC
Flink 1.11 presenta Flink SQL CDC, que facilita la recopilación en tiempo real de datos de tablas RDBMS para sistemas de almacenamiento, como tablas Hudi, entre las cuales el conector MySQL CDC permite leer datos instantáneos y datos incrementales de la base de datos MySQL .
7.3.1 Habilitar binlog de MySQL
Para MySQL CDC, primero debe habilitar el binlog de la base de datos MySQL y luego reiniciar el servicio de la base de datos MySQL.
- El primer paso, abrir el registro binlog de MySQL
[root@node1 ~]# vim /etc/my.cnf
Agregue contenido en [mysqld]:
server-id=2
log-bin=mysql-bin
binlog_format=row
expire_logs_days=15
binlog_row_image=full
- El segundo paso, reiniciar MySQL Server
service mysqld restart
Inicie sesión en la línea de comando del cliente MySQL para verificar si surte efecto.
- El tercer paso es descargar el paquete Flink CDC MySQL Jar,
dado que se usa la versión Flink 1.12.2 , actualmente se admite la versión Flink CDC: 1.3.0 , y se agrega la dependencia de maven:
<!-- https://mvnrepository.com/artifact/com.alibaba.ververica/flink-connector-mysql-cdc -->
<dependency>
<groupId>com.alibaba.ververica</groupId>
<artifactId>flink-connector-mysql-cdc</artifactId>
<version>1.3.0</version>
</dependency>
Si utiliza Flink SQL Client, debe colocar el paquete jar en el directorio $FLINK_HOME/lib :
7.3.2 Preparación del entorno
Para la recopilación de datos en tiempo real, puede escribir programas Java y ejecutar declaraciones DDL directamente.
- Método 1: inicie el cliente Flink SQL, ejecute y escriba declaraciones DDL y envíe el trabajo de Flink al clúster independiente
-- 启动HDFS服务
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
-- 启动Flink Standalone集群
export HADOOP_CLASSPATH=`/export/server/hadoop/bin/hadoop classpath`
/export/server/flink/bin/start-cluster.sh
-- 启动SQL Client
/export/server/flink/bin/sql-client.sh embedded \
-j /export/server/flink/lib/hudi-flink-bundle_2.12-0.9.0.jar shell
-- 设置属性
set execution.result-mode=tableau;
set execution.checkpointing.interval=3sec;
SET execution.runtime-mode = streaming;
- Método 2: utilice IDEA para crear un proyecto Maven, agregar dependencias relacionadas, escribir programas y ejecutar declaraciones DDL.
Confíe en pom.xml para agregar el siguiente contenido:
<repositories>
<repository>
<id>nexus-aliyun</id>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</repository>
<repository>
<id>central_maven</id>
<name>central maven</name>
<url>https://repo1.maven.org/maven2</url>
</repository>
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
<repository>
<id>apache.snapshots</id>
<name>Apache Development Snapshot Repository</name>
<url>https://repository.apache.org/content/repositories/snapshots/</url>
<releases>
<enabled>false</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
</snapshots>
</repository>
</repositories>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<maven.compiler.source>${java.version}</maven.compiler.source>
<maven.compiler.target>${java.version}</maven.compiler.target>
<java.version>1.8</java.version>
<scala.binary.version>2.12</scala.binary.version>
<flink.version>1.12.2</flink.version>
<hadoop.version>2.7.3</hadoop.version>
<mysql.version>8.0.16</mysql.version>
</properties>
<dependencies>
<!-- Flink Client -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients_${scala.binary.version}</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-java</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-runtime-web_${scala.binary.version}</artifactId>
<version>${flink.version}</version>
</dependency>
<!-- Flink Table API & SQL -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-table-common</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-table-planner-blink_${scala.binary.version}</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-table-api-java-bridge_${scala.binary.version}</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-json</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hudi</groupId>
<artifactId>hudi-flink-bundle_${scala.binary.version}</artifactId>
<version>0.9.0</version>
</dependency>
<dependency>
<groupId>com.alibaba.ververica</groupId>
<artifactId>flink-connector-mysql-cdc</artifactId>
<version>1.3.0</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-shaded-hadoop-2-uber</artifactId>
<version>2.7.5-10.0</version>
</dependency>
<!-- MySQL-->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>${mysql.version}</version>
</dependency>
<!-- slf4j及log4j -->
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.7</version>
<scope>runtime</scope>
</dependency>
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
<scope>runtime</scope>
</dependency>
</dependencies>
<build>
<sourceDirectory>src/main/java</sourceDirectory>
<testSourceDirectory>src/test/java</testSourceDirectory>
<plugins>
<!-- 编译插件 -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.5.1</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
<!--<encoding>${project.build.sourceEncoding}</encoding>-->
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-surefire-plugin</artifactId>
<version>2.18.1</version>
<configuration>
<useFile>false</useFile>
<disableXmlReport>true</disableXmlReport>
<includes>
<include>**/*Test.*</include>
<include>**/*Suite.*</include>
</includes>
</configuration>
</plugin>
<!-- 打jar包插件(会包含所有依赖) -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.3</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
<transformers>
<transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
</transformers>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
Escriba un programa para realizar la adquisición y sincronización de datos en tiempo real. Hay tres pasos principales: tabla de entrada Tabla de entrada, tabla de salida Tabla de salida, consultar e insertar instrucción INSERT...SELECT , el diagrama esquemático es el siguiente:
En este caso, para centrarse más en ver el efecto, inicie el cliente Flink SQL Client, escriba declaraciones DDL y DML y ejecútelas directamente.
7.3.3 Recopilación de datos en tiempo real
Para recopilar datos en tiempo real según Flink CDC, debe crear dos tablas, Entrada y Salida, y luego escribir INSERT...SELECT para insertar declaraciones de consulta .
A continuación, las cinco tablas de datos comerciales de la base de datos MySQL se recopilan y sincronizan en tiempo real con la tabla Hudi (que almacena el sistema de archivos HDFS).
7.3.3.1 Formulario de información del cliente
Sincronice los datos de la tabla de información del cliente [cliente] con la tabla Hudi, escriba y ejecute declaraciones DDL y DML de acuerdo con los pasos anteriores.
- El primer paso, la tabla de entrada InputTable
create table tbl_customer_mysql (
id STRING PRIMARY KEY NOT ENFORCED,
customer_relationship_id STRING,
create_date_time STRING,
update_date_time STRING,
deleted STRING,
name STRING,
idcard STRING,
birth_year STRING,
gender STRING,
phone STRING,
wechat STRING,
qq STRING,
email STRING,
area STRING,
leave_school_date STRING,
graduation_date STRING,
bxg_student_id STRING,
creator STRING,
origin_type STRING,
origin_channel STRING,
tenant STRING,
md_id STRING
)WITH (
'connector' = 'mysql-cdc',
'hostname' = 'node1.itcast.cn',
'port' = '3306',
'username' = 'root',
'password' = '123456',
'server-time-zone' = 'Asia/Shanghai',
'debezium.snapshot.mode' = 'initial',
'database-name' = 'itcast_nev',
'table-name' = 'customer'
);
- El segundo paso, la tabla de salida OutputTable
CREATE TABLE edu_customer_hudi(
id STRING PRIMARY KEY NOT ENFORCED,
customer_relationship_id STRING,
create_date_time STRING,
update_date_time STRING,
deleted STRING,
name STRING,
idcard STRING,
birth_year STRING,
gender STRING,
phone STRING,
wechat STRING,
qq STRING,
email STRING,
area STRING,
leave_school_date STRING,
graduation_date STRING,
bxg_student_id STRING,
creator STRING,
origin_type STRING,
origin_channel STRING,
tenant STRING,
md_id STRING,
part STRING
)
PARTITIONED BY (part)
WITH(
'connector'='hudi',
'path'= 'hdfs://node1.itcast.cn:8020/hudi-warehouse/edu_customer_hudi',
'table.type'= 'MERGE_ON_READ',
'hoodie.datasource.write.recordkey.field'= 'id',
'write.precombine.field'= 'create_date_time',
'write.tasks'= '1',
'write.rate.limit'= '2000',
'compaction.tasks'= '1',
'compaction.async.enabled'= 'true',
'compaction.trigger.strategy'= 'num_commits',
'compaction.delta_commits'= '1',
'changelog.enabled'= 'true'
);
- El tercer paso, insertar una declaración de consulta.
insert into edu_customer_hudi
select *, CAST(CURRENT_DATE AS STRING) AS part from tbl_customer_mysql;
En este momento, se genera un trabajo de Flink y se envía al clúster independiente para su operación. Primero, los datos históricos de la tabla se sincronizan con la tabla Hudi y luego los datos incrementales se sincronizan en tiempo real.
7.3.3.2 Formulario de intención del cliente
Sincronice los datos de la tabla de intenciones del cliente [relación_cliente] con la tabla Hudi, escriba y ejecute declaraciones DDL y DML de acuerdo con los pasos anteriores.
- El primer paso, la tabla de entrada InputTable
create table tbl_customer_relationship_mysql (
id string PRIMARY KEY NOT ENFORCED,
create_date_time string,
update_date_time string,
deleted string,
customer_id string,
first_id string,
belonger string,
belonger_name string,
initial_belonger string,
distribution_handler string,
business_scrm_department_id string,
last_visit_time string,
next_visit_time string,
origin_type string,
itcast_school_id string,
itcast_subject_id string,
intention_study_type string,
anticipat_signup_date string,
`level` string,
creator string,
current_creator string,
creator_name string,
origin_channel string,
`comment` string,
first_customer_clue_id string,
last_customer_clue_id string,
process_state string,
process_time string,
payment_state string,
payment_time string,
signup_state string,
signup_time string,
notice_state string,
notice_time string,
lock_state string,
lock_time string,
itcast_clazz_id string,
itcast_clazz_time string,
payment_url string,
payment_url_time string,
ems_student_id string,
delete_reason string,
deleter string,
deleter_name string,
delete_time string,
course_id string,
course_name string,
delete_comment string,
close_state string,
close_time string,
appeal_id string,
tenant string,
total_fee string,
belonged string,
belonged_time string,
belonger_time string,
transfer string,
transfer_time string,
follow_type string,
transfer_bxg_oa_account string,
transfer_bxg_belonger_name string
)WITH(
'connector' = 'mysql-cdc',
'hostname' = 'node1.itcast.cn',
'port' = '3306',
'username' = 'root',
'password' = '123456',
'server-time-zone' = 'Asia/Shanghai',
'debezium.snapshot.mode' = 'initial',
'database-name' = 'itcast_nev',
'table-name' = 'customer_relationship'
);
-
第二步、输出表OutputTable
crear tabla edu_customer_relationship_hudi( cadena
de identificación CLAVE PRIMARIA NO APLICADA,
cadena de fecha_hora de creación
, cadena de fecha_hora de actualización
, cadena eliminada,
cadena de identificación de cliente, cadena
de primera identificación
, cadena de miembro,
cadena de nombre de miembro,
cadena de pertenencia_inicial,
cadena de controlador de distribución,
cadena de ID de departamento_scrm de negocio,
cadena de última hora de visita ,
cadena next_visit_time,
cadena origin_type,
cadena itcast_school_id, cadena
itcast_subject_id, cadena
intent_study_type, cadena
anticipat_signup_date,
levelcadena,
cadena creador,
cadena current_creator,
cadena de nombre de creador,
cadena de canal de origen,
commentcadena, cadena
de first_customer_clue_id,
cadena de last_customer_clue_id
, cadena de estado de proceso
, cadena de tiempo de proceso
, cadena de estado de pago, cadena de
tiempo de pago, cadena
de estado de registro, cadena de tiempo de
registro
, cadena de estado de aviso
, cadena de tiempo de
aviso, cadena de estado de bloqueo, cadena de
tiempo de bloqueo,
cadena de itcast_clazz_id, cadena de
itcast_clazz_time,
cadena de URL de pago,
cadena de tiempo de URL de pago,
cadena de ems_student_id,
cadena de eliminación de motivo, cadena de
eliminación,
cadena de nombre de eliminación,
cadena de tiempo de eliminación,
cadena de id de curso,
cadena de nombre de curso,
cadena de comentario de eliminación,
cadena de estado de cierre,
cadena de tiempo de cierre, cadena
de id de apelación,
cadena de inquilino, cadena
de tarifa total
, cadena de pertenencia , cadena de tiempo de pertenencia, cadena de tiempo de pertenencia
, cadena de transferencia, cadena de tiempo de transferencia, cadena de tipo de seguimiento, cadena de cuenta de transferencia_bxg_oa, cadena de nombre de transferencia_bxg_belonger, parte CADENA ) PARTICIONADO POR (parte) CON( 'connector'='hudi', 'path'= 'hdfs://node1.itcast.cn:8020/hudi-warehouse/edu_customer_relationship_hudi', 'table.type'= 'MERGE_ON_READ', 'hoodie. fuente de datos.write.recordkey.field'= 'id',
'write.precombine.field'= 'create_date_time',
'write.tasks'= '1',
'write.rate.limit'= '2000',
'compaction.tasks'= '1',
'compaction.async.enabled '= 'verdadero',
'compaction.trigger.strategy'= 'num_commits',
'compaction.delta_commits'= '1',
'changelog.enabled'= 'verdadero'
); -
El tercer paso, insertar una declaración de consulta.
insert into edu_customer_relationship_hudi
select *, CAST(CURRENT_DATE AS STRING) AS part from tbl_customer_relationship_mysql;
Vea el sistema de archivos HDFS y sincronice el directorio Hudi de almacenamiento de datos completo:
7.3.3.3 Formulario de cliente potencial
Sincronice los datos de la tabla de pistas del cliente [customer_clue] con la tabla Hudi, escriba y ejecute declaraciones DDL y DML de acuerdo con los pasos anteriores.
- El primer paso, la tabla de entrada InputTable
create table tbl_customer_clue_mysql (
id string PRIMARY KEY NOT ENFORCED,
create_date_time string,
update_date_time string,
deleted string,
customer_id string,
customer_relationship_id string,
session_id string,
sid string,
status string,
`user` string,
create_time string,
platform string,
s_name string,
seo_source string,
seo_keywords string,
ip string,
referrer string,
from_url string,
landing_page_url string,
url_title string,
to_peer string,
manual_time string,
begin_time string,
reply_msg_count string,
total_msg_count string,
msg_count string,
`comment` string,
finish_reason string,
finish_user string,
end_time string,
platform_description string,
browser_name string,
os_info string,
area string,
country string,
province string,
city string,
creator string,
name string,
idcard string,
phone string,
itcast_school_id string,
itcast_school string,
itcast_subject_id string,
itcast_subject string,
wechat string,
qq string,
email string,
gender string,
`level` string,
origin_type string,
information_way string,
working_years string,
technical_directions string,
customer_state string,
valid string,
anticipat_signup_date string,
clue_state string,
scrm_department_id string,
superior_url string,
superior_source string,
landing_url string,
landing_source string,
info_url string,
info_source string,
origin_channel string,
course_id string,
course_name string,
zhuge_session_id string,
is_repeat string,
tenant string,
activity_id string,
activity_name string,
follow_type string,
shunt_mode_id string,
shunt_employee_group_id string
)WITH(
'connector' = 'mysql-cdc',
'hostname' = 'node1.itcast.cn',
'port' = '3306',
'username' = 'root',
'password' = '123456',
'server-time-zone' = 'Asia/Shanghai',
'debezium.snapshot.mode' = 'initial',
'database-name' = 'itcast_nev',
'table-name' = 'customer_clue'
);
- El segundo paso, la tabla de salida OutputTable
create table edu_customer_clue_hudi (
id string PRIMARY KEY NOT ENFORCED,
create_date_time string,
update_date_time string,
deleted string,
customer_id string,
customer_relationship_id string,
session_id string,
sid string,
status string,
`user` string,
create_time string,
platform string,
s_name string,
seo_source string,
seo_keywords string,
ip string,
referrer string,
from_url string,
landing_page_url string,
url_title string,
to_peer string,
manual_time string,
begin_time string,
reply_msg_count string,
total_msg_count string,
msg_count string,
`comment` string,
finish_reason string,
finish_user string,
end_time string,
platform_description string,
browser_name string,
os_info string,
area string,
country string,
province string,
city string,
creator string,
name string,
idcard string,
phone string,
itcast_school_id string,
itcast_school string,
itcast_subject_id string,
itcast_subject string,
wechat string,
qq string,
email string,
gender string,
`level` string,
origin_type string,
information_way string,
working_years string,
technical_directions string,
customer_state string,
valid string,
anticipat_signup_date string,
clue_state string,
scrm_department_id string,
superior_url string,
superior_source string,
landing_url string,
landing_source string,
info_url string,
info_source string,
origin_channel string,
course_id string,
course_name string,
zhuge_session_id string,
is_repeat string,
tenant string,
activity_id string,
activity_name string,
follow_type string,
shunt_mode_id string,
shunt_employee_group_id string,
part STRING
)
PARTITIONED BY (part)
WITH(
'connector'='hudi',
'path'= 'hdfs://node1.itcast.cn:8020/hudi-warehouse/edu_customer_clue_hudi',
'table.type'= 'MERGE_ON_READ',
'hoodie.datasource.write.recordkey.field'= 'id',
'write.precombine.field'= 'create_date_time',
'write.tasks'= '1',
'write.rate.limit'= '2000',
'compaction.tasks'= '1',
'compaction.async.enabled'= 'true',
'compaction.trigger.strategy'= 'num_commits',
'compaction.delta_commits'= '1',
'changelog.enabled'= 'true'
);
- El tercer paso, insertar una declaración de consulta.
insert into edu_customer_clue_hudi
select *, CAST(CURRENT_DATE AS STRING) AS part from tbl_customer_clue_mysql;
Vea el sistema de archivos HDFS y sincronice el directorio Hudi de almacenamiento de datos completo:
7.3.3.4 Formulario de queja del cliente
Sincronice los datos del formulario de apelación del cliente [customer_appeal] con la tabla Hudi y siga los pasos anteriores para escribir declaraciones DDL y DML para su ejecución.
- El primer paso, la tabla de entrada InputTable
create table tbl_customer_appeal_mysql (
id string PRIMARY KEY NOT ENFORCED,
customer_relationship_first_id string,
employee_id string,
employee_name string,
employee_department_id string,
employee_tdepart_id string,
appeal_status string,
audit_id string,
audit_name string,
audit_department_id string,
audit_department_name string,
audit_date_time string,
create_date_time string,
update_date_time string,
deleted string,
tenant string
)WITH (
'connector' = 'mysql-cdc',
'hostname' = 'node1.itcast.cn',
'port' = '3306',
'username' = 'root',
'password' = '123456',
'server-time-zone' = 'Asia/Shanghai',
'debezium.snapshot.mode' = 'initial',
'database-name' = 'itcast_nev',
'table-name' = 'customer_appeal'
);
- El segundo paso, la tabla de salida OutputTable
create table edu_customer_appeal_hudi (
id string PRIMARY KEY NOT ENFORCED,
customer_relationship_first_id STRING,
employee_id STRING,
employee_name STRING,
employee_department_id STRING,
employee_tdepart_id STRING,
appeal_status STRING,
audit_id STRING,
audit_name STRING,
audit_department_id STRING,
audit_department_name STRING,
audit_date_time STRING,
create_date_time STRING,
update_date_time STRING,
deleted STRING,
tenant STRING,
part STRING
)
PARTITIONED BY (part)
WITH(
'connector'='hudi',
'path'= 'hdfs://node1.itcast.cn:8020/hudi-warehouse/edu_customer_appeal_hudi',
'table.type'= 'MERGE_ON_READ',
'hoodie.datasource.write.recordkey.field'= 'id',
'write.precombine.field'= 'create_date_time',
'write.tasks'= '1',
'write.rate.limit'= '2000',
'compaction.tasks'= '1',
'compaction.async.enabled'= 'true',
'compaction.trigger.strategy'= 'num_commits',
'compaction.delta_commits'= '1',
'changelog.enabled'= 'true'
);
- El tercer paso, insertar una declaración de consulta.
insert into edu_customer_appeal_hudi
select *, CAST(CURRENT_DATE AS STRING) AS part from tbl_customer_appeal_mysql;
Vea el sistema de archivos HDFS y sincronice el directorio Hudi de almacenamiento de datos completo:
7.3.3.5 Formulario de registro de consulta de visita del cliente
Sincronice los datos de la tabla de registro de consulta de acceso al servicio de atención al cliente [web_chat_ems] con la tabla Hudi, siga los pasos anteriores para escribir y ejecutar declaraciones DDL y DML.
- El primer paso, la tabla de entrada InputTable
create table tbl_web_chat_ems_mysql (
id string PRIMARY KEY NOT ENFORCED,
create_date_time string,
session_id string,
sid string,
create_time string,
seo_source string,
seo_keywords string,
ip string,
area string,
country string,
province string,
city string,
origin_channel string,
`user` string,
manual_time string,
begin_time string,
end_time string,
last_customer_msg_time_stamp string,
last_agent_msg_time_stamp string,
reply_msg_count string,
msg_count string,
browser_name string,
os_info string
)WITH(
'connector' = 'mysql-cdc',
'hostname' = 'node1.itcast.cn',
'port' = '3306',
'username' = 'root',
'password' = '123456',
'server-time-zone' = 'Asia/Shanghai',
'debezium.snapshot.mode' = 'initial',
'database-name' = 'itcast_nev',
'table-name' = 'web_chat_ems'
);
- El segundo paso, la tabla de salida OutputTable
create table edu_web_chat_ems_hudi (
id string PRIMARY KEY NOT ENFORCED,
create_date_time string,
session_id string,
sid string,
create_time string,
seo_source string,
seo_keywords string,
ip string,
area string,
country string,
province string,
city string,
origin_channel string,
`user` string,
manual_time string,
begin_time string,
end_time string,
last_customer_msg_time_stamp string,
last_agent_msg_time_stamp string,
reply_msg_count string,
msg_count string,
browser_name string,
os_info string,
part STRING
)
PARTITIONED BY (part)
WITH(
'connector'='hudi',
'path'= 'hdfs://node1.itcast.cn:8020/hudi-warehouse/edu_web_chat_ems_hudi',
'table.type'= 'MERGE_ON_READ',
'hoodie.datasource.write.recordkey.field'= 'id',
'write.precombine.field'= 'create_date_time',
'write.tasks'= '1',
'write.rate.limit'= '2000',
'compaction.tasks'= '1',
'compaction.async.enabled'= 'true',
'compaction.trigger.strategy'= 'num_commits',
'compaction.delta_commits'= '1',
'changelog.enabled'= 'true'
);
- El tercer paso, insertar una declaración de consulta.
insert into edu_web_chat_ems_hudi
select *, CAST(CURRENT_DATE AS STRING) AS part from tbl_web_chat_ems_mysql;
Vea el sistema de archivos HDFS y sincronice el directorio Hudi de almacenamiento de datos completo:
Hasta ahora, los datos comerciales relacionados con los clientes principales de Chuanzhi Education se han recopilado y sincronizado con la tabla Hudi. En este momento, los cinco trabajos de Flink todavía se están ejecutando en el clúster independiente. Si se generan datos comerciales en cada tabla, también se obtendrá en tiempo real y se almacenará en la tabla Hudi.
7.4 Análisis ad hoc de Presto
Utilice Presto para analizar los datos de la tabla Hudi y, finalmente, almacene los resultados directamente en la tabla de la base de datos MySQL, como se muestra en el diagrama esquemático a continuación.
- Primero, cree una tabla en Hive y asocie la tabla Hudi
- En segundo lugar, Presto integra Hive y carga datos de la tabla de Hive.
- En tercer lugar, Presto integra MySQL para leer o guardar datos.
7.4.1 ¿Qué es Presto?
Presto es un motor de consulta OLAP basado en la arquitectura MPP de código abierto de Facebook, es un motor de ejecución SQL distribuido que puede ejecutar conjuntos de datos de gran capacidad para diferentes fuentes de datos. Es adecuado para consultas y análisis interactivos, y el volumen de datos admite bytes de GB a PB.
- 1. Una arquitectura clara es un sistema que puede ejecutarse de forma independiente y no depende de ningún otro sistema externo. Por ejemplo, la programación, presto en sí proporciona monitoreo del clúster y puede completar la programación en función de la información de monitoreo.
- 2. Estructura de datos simple, almacenamiento en columnas, filas lógicas, la mayoría de los datos se pueden convertir fácilmente a la estructura de datos requerida por presto.
- 3. Abundantes interfaces enchufables, perfectamente conectadas a sistemas de almacenamiento externos o agregando funciones personalizadas.
Sitio web oficial: https://prestodb.io/
Presto adopta un modelo maestro-esclavo típico, que consta de un nodo Coordinador, un nodo de Servidor Discovery y varios nodos de Trabajador. El Servidor Discovery generalmente está integrado en el nodo Coordinador.
- 1. El coordinador (maestro) es responsable de la metagestión, la gestión de trabajadores, el análisis de consultas y la programación.
- 2. El trabajador es responsable de la informática y de la lectura y escritura.
- 3. El servidor de descubrimiento, generalmente integrado en el nodo coordinador, también se puede implementar por separado para el latido del nodo. A continuación, el descubrimiento y el coordinador predeterminados comparten una máquina.
Modelo de datos de Presto: adopte una estructura de tabla de tres niveles
- 1. El catálogo corresponde a un determinado tipo de fuente de datos, como datos de Hive o datos de MySQL.
- 2. El esquema corresponde a la base de datos en mysql.
- 3. la tabla corresponde a la tabla en mysql
7.4.2 Instalación e implementación de Presto
Instale Presto con implementación de un solo nodo, nombre del servidor: node1.itcast.cn, dirección IP: 192.168.88.100.
- 1. Instalación JDK8
java -version
- 2. Cargue y descomprima el paquete de instalación de Presto.
# 创建安装目录
mkdir -p /export/server
# yum安装上传文件插件lrzsz
yum install -y lrzsz
# 上传安装包到node1的/export/server目录
presto-server-0.245.1.tar.gz
# 解压、重命名
tar -xzvf presto-server-0.245.1.tar.gz
ln -s presto-server-0.245.1 presto
#创建配置文件存储目录
mkdir -p /export/server/presto/etc
- 3. Configurar presto
- etc/config.properties
vim /export/server/presto/etc/config.properties
contenido:
coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8090
query.max-memory=6GB
query.max-memory-per-node=2GB
query.max-total-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://192.168.88.100:8090
- etc/jvm.config
vim /export/server/presto/etc/jvm.config
contenido:
-server
-Xmx3G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
- etc/nodo.properties
vim /export/server/presto/etc/node.properties
contenido:
node.environment=hudipresto
node.id=presto-node1
node.data-dir=/export/server/presto/data
- etc/catalog/hive.properties
mkdir -p /export/server/presto/etc/catalog
vim /export/server/presto/etc/catalog/hive.properties
Ejemplo:
conector.name=hive-hadoop2
hive.metastore.uri=thrift://192.168.88.100:9083
hive.parquet.use-column-names=true
hive.config.resources=/export/server/presto/etc/ catálogo/core-site.xml,/export/server/presto/etc/catalog/hdfs-site.xml
- etc/catalog/mysql.properties
vim /export/server/presto/etc/catalog/mysql.properties
contenido:
connector.name=mysql
connection-url=jdbc:mysql://node1.itcast.cn:3306
connection-user=root
connection-password=123456
- 4. Inicie el servicio
Ingrese al directorio de instalación de Presto y ejecute el script en $PRESTO_HOME/bin
/export/server/presto/bin/launcher start
Utilice jps para comprobar si el proceso existe, el nombre del proceso: PrestoServer .
Además interfaz WEB UI:
http://192.168.88.100:8090/ui/
- 5. Cliente de línea de comandos Presto CLI
Descargar cliente CLI
presto-cli-0.241-executable.jar
Cargue presto-cli-0.245.1-executable.jar a /export/server/presto/bin
mv presto-cli-0.245.1-executable.jar presto
chmod +x presto
Inicio del cliente CLI
/export/server/presto/bin/presto --server 192.168.88.100:8090
7.4.3 Tabla de creación de colmena
Para que Presto analice los datos en la tabla Hudi, la tabla Hudi debe asignarse a la tabla Hive. A continuación, cree cinco tablas de datos comerciales de clientes de educación de Chuanzhi en Hive y asígnelas a la tabla Hudi.
Inicie el servicio HDFS, HiveMetaStore y HiveServer y ejecute la línea de comando Beeline:
-- 启动HDFS服务
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
-- Hive服务
/export/server/hive/bin/start-metastore.sh
/export/server/hive/bin/start-hiveserver2.sh
-- 启动Beeline客户端
/export/server/hive/bin/beeline -u jdbc:hive2://node1.itcast.cn:10000 -n root -p 123456
设置Hive本地模式，方便测试使用：
-- 设置Hive本地模式
set hive.exec.mode.local.auto=true;
set hive.exec.mode.local.auto.tasks.max=10;
set hive.exec.mode.local.auto.inputbytes.max=50000000;
7.4.3.1 Crear base de datos
Cree una base de datos de almacenamiento de datos de Chuanzhi Education:
-- 创建数据库
CREATE DATABASE IF NOT EXISTS edu_hudi ;
-- 使用数据库
USE edu_hudi ;
7.4.3.2 Formulario de información del cliente
Escriba una declaración DDL para crear una tabla:
CREATE EXTERNAL TABLE edu_hudi.tbl_customer(
id string,
customer_relationship_id string,
create_date_time string,
update_date_time string,
deleted string,
name string,
idcard string,
birth_year string,
gender string,
phone string,
wechat string,
qq string,
email string,
area string,
leave_school_date string,
graduation_date string,
bxg_student_id string,
creator string,
origin_type string,
origin_channel string,
tenant string,
md_id string
)PARTITIONED BY (day_str string)
ROW FORMAT SERDE
'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT
'org.apache.hudi.hadoop.HoodieParquetInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
'/hudi-warehouse/edu_customer_hudi' ;
Como es una tabla de particiones, agregue particiones:
ALTER TABLE edu_hudi.tbl_customer ADD IF NOT EXISTS PARTITION(day_str='2021-11-29')
location '/hudi-warehouse/edu_customer_hudi/2021-11-29' ;
7.4.3.3 Formulario de intención del cliente
Escriba una declaración DDL para crear una tabla:
CREATE EXTERNAL TABLE edu_hudi.tbl_customer_relationship(
id string,
create_date_time string,
update_date_time string,
deleted string,
customer_id string,
first_id string,
belonger string,
belonger_name string,
initial_belonger string,
distribution_handler string,
business_scrm_department_id string,
last_visit_time string,
next_visit_time string,
origin_type string,
itcast_school_id string,
itcast_subject_id string,
intention_study_type string,
anticipat_signup_date string,
`level` string,
creator string,
current_creator string,
creator_name string,
origin_channel string,
`comment` string,
first_customer_clue_id string,
last_customer_clue_id string,
process_state string,
process_time string,
payment_state string,
payment_time string,
signup_state string,
signup_time string,
notice_state string,
notice_time string,
lock_state string,
lock_time string,
itcast_clazz_id string,
itcast_clazz_time string,
payment_url string,
payment_url_time string,
ems_student_id string,
delete_reason string,
deleter string,
deleter_name string,
delete_time string,
course_id string,
course_name string,
delete_comment string,
close_state string,
close_time string,
appeal_id string,
tenant string,
total_fee string,
belonged string,
belonged_time string,
belonger_time string,
transfer string,
transfer_time string,
follow_type string,
transfer_bxg_oa_account string,
transfer_bxg_belonger_name string
)PARTITIONED BY (day_str string)
ROW FORMAT SERDE
'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT
'org.apache.hudi.hadoop.HoodieParquetInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
'/hudi-warehouse/edu_customer_relationship_hudi' ;
Como es una tabla de particiones, agregue particiones:
ALTER TABLE edu_hudi.tbl_customer_relationship ADD IF NOT EXISTS PARTITION(day_str='2021-11-29')
location '/hudi-warehouse/edu_customer_relationship_hudi/2021-11-29' ;
7.4.3.4 Formulario de cliente potencial
Escriba una declaración DDL para crear una tabla:
CREATE EXTERNAL TABLE edu_hudi.tbl_customer_clue(
id string,
create_date_time string,
update_date_time string,
deleted string,
customer_id string,
customer_relationship_id string,
session_id string,
sid string,
status string,
`user` string,
create_time string,
platform string,
s_name string,
seo_source string,
seo_keywords string,
ip string,
referrer string,
from_url string,
landing_page_url string,
url_title string,
to_peer string,
manual_time string,
begin_time string,
reply_msg_count string,
total_msg_count string,
msg_count string,
`comment` string,
finish_reason string,
finish_user string,
end_time string,
platform_description string,
browser_name string,
os_info string,
area string,
country string,
province string,
city string,
creator string,
name string,
idcard string,
phone string,
itcast_school_id string,
itcast_school string,
itcast_subject_id string,
itcast_subject string,
wechat string,
qq string,
email string,
gender string,
`level` string,
origin_type string,
information_way string,
working_years string,
technical_directions string,
customer_state string,
valid string,
anticipat_signup_date string,
clue_state string,
scrm_department_id string,
superior_url string,
superior_source string,
landing_url string,
landing_source string,
info_url string,
info_source string,
origin_channel string,
course_id string,
course_name string,
zhuge_session_id string,
is_repeat string,
tenant string,
activity_id string,
activity_name string,
follow_type string,
shunt_mode_id string,
shunt_employee_group_id string
)
PARTITIONED BY (day_str string)
ROW FORMAT SERDE
'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT
'org.apache.hudi.hadoop.HoodieParquetInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
'/hudi-warehouse/edu_customer_clue_hudi' ;
Como es una tabla de particiones, agregue particiones:
ALTER TABLE edu_hudi.tbl_customer_clue ADD IF NOT EXISTS PARTITION(day_str='2021-11-29')
location '/hudi-warehouse/edu_customer_clue_hudi/2021-11-29' ;
7.4.3.5 Formulario de queja del cliente
Escriba una declaración DDL para crear una tabla:
CREATE EXTERNAL TABLE edu_hudi.tbl_customer_appeal(
id string,
customer_relationship_first_id STRING,
employee_id STRING,
employee_name STRING,
employee_department_id STRING,
employee_tdepart_id STRING,
appeal_status STRING,
audit_id STRING,
audit_name STRING,
audit_department_id STRING,
audit_department_name STRING,
audit_date_time STRING,
create_date_time STRING,
update_date_time STRING,
deleted STRING,
tenant STRING
)
PARTITIONED BY (day_str string)
ROW FORMAT SERDE
'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT
'org.apache.hudi.hadoop.HoodieParquetInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
'/hudi-warehouse/edu_customer_appeal_hudi' ;
Como es una tabla de particiones, agregue particiones:
ALTER TABLE edu_hudi.tbl_customer_appeal ADD IF NOT EXISTS PARTITION(day_str='2021-11-29')
location '/hudi-warehouse/edu_customer_appeal_hudi/2021-11-29' ;
7.4.3.6 Formulario de registro de consulta de visita del cliente
Escriba una declaración DDL para crear una tabla:
CREATE EXTERNAL TABLE edu_hudi.tbl_web_chat_ems (
id string,
create_date_time string,
session_id string,
sid string,
create_time string,
seo_source string,
seo_keywords string,
ip string,
area string,
country string,
province string,
city string,
origin_channel string,
`user` string,
manual_time string,
begin_time string,
end_time string,
last_customer_msg_time_stamp string,
last_agent_msg_time_stamp string,
reply_msg_count string,
msg_count string,
browser_name string,
os_info string
)
PARTITIONED BY (day_str string)
ROW FORMAT SERDE
'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT
'org.apache.hudi.hadoop.HoodieParquetInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
'/hudi-warehouse/edu_web_chat_ems_hudi' ;
Como es una tabla de particiones, agregue particiones:
ALTER TABLE edu_hudi.tbl_web_chat_ems ADD IF NOT EXISTS PARTITION(day_str='2021-11-29')
location '/hudi-warehouse/edu_web_chat_ems_hudi/2021-11-29' ;
7.4.4 Análisis de indicadores offline
Para usar Presto para analizar los datos de la tabla Hudi, debe colocar el paquete jar integrado: hudi-presto-bundle-0.9.0.jar en el directorio del complemento de Presto: /export/server/presto/plugin/hive-hadoop2:
Inicie la línea de comando del cliente Presto Client para ver la base de datos creada en Hive:
Utilice la base de datos: edu_hudi para comprobar qué tablas hay:
A continuación, de acuerdo con los requisitos de los indicadores comerciales, utilice Presto para analizar los datos de la tabla Hudi y guarde los indicadores directamente en la base de datos MySQL.
Primero, cree una base de datos en la base de datos MySQL para almacenar la tabla de indicadores de análisis:
-- 创建数据库
CREATE DATABASE `itcast_rpt` /*!40100 DEFAULT CHARACTER SET utf8 */;
7.4.4.1 Volumen de registro diario
Análisis estadístico de los datos de la tabla de intenciones del cliente: volumen diario de registro de clientes, primero cree una tabla MySQL, luego escriba SQL y finalmente guarde los datos.
- Descripción de MySQL: itcast_rpt.stu_apply
CREATE TABLE IF NOT EXISTS `itcast_rpt`.`stu_apply` (
`report_date` longtext,
`report_total` bigint(20) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
- Declaración SQL de índice:
WITH tmp AS (
SELECT
format_datetime(from_unixtime(cast(payment_time as bigint) / 1000),'yyyy-MM-dd')AS day_value, customer_id
FROM hive.edu_hudi.tbl_customer_relationship
WHERE
day_str = '2021-11-29' AND payment_time IS NOT NULL AND payment_state = 'PAID' AND deleted = 'false'
)
SELECT day_value, COUNT(customer_id) AS total FROM tmp GROUP BY day_value ;
- Los resultados del análisis se guardan en la tabla MySQL:
INSERT INTO mysql.itcast_rpt.stu_apply (report_date, report_total)
SELECT day_value, total FROM (
SELECT day_value, COUNT(customer_id) AS total FROM (
SELECT
format_datetime(from_unixtime(cast(payment_time as bigint) / 1000), 'yyyy-MM-dd')AS day_value, customer_id
FROM hive.edu_hudi.tbl_customer_relationship
WHERE day_str = '2021-11-29' AND payment_time IS NOT NULL AND payment_state = 'PAID' AND deleted = 'false'
) GROUP BY day_value
) ;
Ver los datos en la tabla de la base de datos:
7.4.4.2 Visitas diarias
Análisis estadístico de los datos de la tabla de intenciones del cliente: visitas diarias de los clientes, primero cree una tabla MySQL, luego escriba SQL y finalmente guarde los datos.
- Descripción de MySQL: itcast_rpt.web_pv
CREATE TABLE IF NOT EXISTS `itcast_rpt`.`web_pv` (
`report_date` longtext,
`report_total` bigint(20) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
- Declaración SQL de índice:
WITH tmp AS (
SELECT
id, format_datetime(from_unixtime(cast(create_time as bigint) / 1000), 'yyyy-MM-dd')AS day_value
FROM hive.edu_hudi.tbl_web_chat_ems
WHERE day_str = '2021-11-29'
)
SELECT day_value, COUNT(id) AS total FROM tmp GROUP BY day_value ;
- Los resultados del análisis se guardan en la tabla MySQL:
INSERT INTO mysql.itcast_rpt.web_pv (report_date, report_total)
SELECT day_value, COUNT(id) AS total FROM (
SELECT
id, format_datetime(from_unixtime(cast(create_time as bigint) / 1000), 'yyyy-MM-dd') AS day_value
FROM hive.edu_hudi.tbl_web_chat_ems
WHERE day_str = '2021-11-29'
) GROUP BY day_value ;
Ver los datos en la tabla de la base de datos:
7.4.4.3 Intenciones diarias
Análisis estadístico de los datos de la tabla de intenciones del cliente: el número de intenciones diarias del cliente, primero cree una tabla MySQL, luego escriba SQL y finalmente guarde los datos.
- Tabla MySQL: itcast_rpt.stu_intention
CREATE TABLE IF NOT EXISTS `itcast_rpt`.`stu_intention` (
`report_date` longtext,
`report_total` bigint(20) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
- Declaración SQL de índice:
WITH tmp AS (
SELECT
id, format_datetime(from_unixtime(cast(create_date_time as bigint) / 1000), 'yyyy-MM-dd')AS day_value
FROM hive.edu_hudi.tbl_customer_relationship
WHERE day_str = '2021-11-29' AND create_date_time IS NOT NULL AND deleted = 'false'
)
SELECT day_value, COUNT(id) AS total FROM tmp GROUP BY day_value ;
- Los resultados del análisis se guardan en la tabla MySQL:
INSERT INTO mysql.itcast_rpt.stu_intention (report_date, report_total)
SELECT day_value, COUNT(id) AS total FROM (
SELECT
id, format_datetime(from_unixtime(cast(create_date_time as bigint) / 1000), 'yyyy-MM-dd')AS day_value
FROM hive.edu_hudi.tbl_customer_relationship
WHERE day_str = '2021-11-29' AND create_date_time IS NOT NULL AND deleted = 'false'
) GROUP BY day_value ;
Ver los datos en la tabla de la base de datos:
7.4.4.4 Volumen diario de leads
Análisis estadístico de los datos de la tabla de intenciones del cliente: clientes potenciales diarios , primero cree una tabla MySQL, luego escriba SQL y finalmente guarde los datos.
- Tabla MySQL: itcast_rpt.stu_clue
CREATE TABLE IF NOT EXISTS `itcast_rpt`.`stu_clue` (
`report_date` longtext,
`report_total` bigint(20) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
- Declaración SQL de índice:
WITH tmp AS (
SELECT
id, format_datetime(from_unixtime(cast(create_date_time as bigint) / 1000), 'yyyy-MM-dd')AS day_value
FROM hive.edu_hudi.tbl_customer_clue
WHERE day_str = '2021-11-29' AND clue_state IS NOT NULL AND deleted = 'false'
)
SELECT day_value, COUNT(id) AS total FROM tmp GROUP BY day_value ;
- Los resultados del análisis se guardan en la tabla MySQL:
INSERT INTO mysql.itcast_rpt.stu_clue (report_date, report_total)
SELECT day_value, COUNT(id) AS total FROM (
SELECT
id, format_datetime(from_unixtime(cast(create_date_time as bigint) / 1000), 'yyyy-MM-dd')AS day_value
FROM hive.edu_hudi.tbl_customer_clue
WHERE day_str = '2021-11-29' AND clue_state IS NOT NULL AND deleted = 'false'
) GROUP BY day_value ;
Ver los datos en la tabla de la base de datos:
7.5 Análisis de transmisión de Flink SQL
Utilice Flink SQL para consultar los datos en tiempo real de la tabla Hudi hoy, cuente los indicadores fuera de línea correspondientes a los indicadores en tiempo real de hoy y, finalmente, use FineBI para mostrarlos en una pantalla grande en tiempo real.
Basado en la integración de Flink SQL Connector con Hudi y MySQL, escriba análisis de consultas de transmisión SQL y ejecute declaraciones DDL y declaraciones SELECT en la línea de comando del cliente SQL Clientk.
7.5.1 Requisitos comerciales
Estadísticas en tiempo real de indicadores básicos sobre los datos comerciales diarios de los clientes de Chuanzhi Education, de la siguiente manera:
Hay un total de 5 indicadores, que involucran 3 tablas de negocios: tabla de registro de acceso de clientes, tabla de clientes potenciales y tabla de intenciones del cliente, y los datos en tiempo real de cada indicador se almacenan en una tabla en la base de datos MySQL.
Las estadísticas de cada indicador en tiempo real se dividen en tres pasos:
- Paso 1. Cree una tabla de entrada y transmita los datos de la tabla Hudi;
- Paso 2. Cree una tabla de salida y guarde los datos en la tabla MySQL en tiempo real;
- Paso 3. Según el negocio, escriba declaraciones SQL, consulte los datos de la tabla de entrada e inserte los resultados en la tabla de salida;
7.5.2 Crear tabla MySQL
Cada indicador en tiempo real se almacena en una tabla en la base de datos MySQL. Primero se crean cinco tablas correspondientes a los cinco indicadores. Los nombres son diferentes y los campos son los mismos. La declaración DDL es la siguiente:
- Indicador 1: Visitas hoy
CREATE TABLE `itcast_rpt`.`realtime_web_pv` (
`report_date` varchar(255) NOT NULL,
`report_total` bigint(20) NOT NULL,
PRIMARY KEY (`report_date`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
- Indicador 2: Volumen de consultas actual
CREATE TABLE `itcast_rpt`.`realtime_stu_consult` (
`report_date` varchar(255) NOT NULL,
`report_total` bigint(20) NOT NULL,
PRIMARY KEY (`report_date`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
- Indicador 3: Número de intenciones hoy
CREATE TABLE `itcast_rpt`.`realtime_stu_intention` (
`report_date` varchar(255) NOT NULL,
`report_total` bigint(20) NOT NULL,
PRIMARY KEY (`report_date`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
- Indicador 4: El número de solicitantes hoy
CREATE TABLE `itcast_rpt`.`realtime_stu_apply` (
`report_date` varchar(255) NOT NULL,
`report_total` bigint(20) NOT NULL,
PRIMARY KEY (`report_date`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
- Indicador 5: La cantidad de leads efectivos hoy
CREATE TABLE `itcast_rpt`.`realtime_stu_clue` (
`report_date` varchar(255) NOT NULL,
`report_total` bigint(20) NOT NULL,
PRIMARY KEY (`report_date`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
7.5.3 Análisis de indicadores en tiempo real
Estadísticas en tiempo real de 5 indicadores, cargando 3 datos de la tabla Hudi, de la siguiente manera:
-
1. Volumen de visitas de hoy y volumen de consultas de hoy, tabla de carga de flujo: datos edu_web_chat_ems_hudi
-
2. El número de intenciones y el número de solicitantes hoy, tabla de carga de flujo: datos edu_customer_relationship_hudi
-
3. La cantidad de pistas efectivas hoy, tabla de carga de transmisión: datos edu_customer_clue_hudi
Inicie el servicio HDFS y el clúster independiente, ejecute el cliente SQL Client y establezca las propiedades:
-- 启动HDFS服务
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
-- 启动Flink Standalone集群
export HADOOP_CLASSPATH=`/export/server/hadoop/bin/hadoop classpath`
/export/server/flink/bin/start-cluster.sh
-- 启动SQL Client
/export/server/flink/bin/sql-client.sh embedded \
-j /export/server/flink/lib/hudi-flink-bundle_2.12-0.9.0.jar shell
-- 设置属性
set execution.result-mode=tableau;
set execution.checkpointing.interval=3sec;
-- 流处理模式
SET execution.runtime-mode = streaming;
7.5.3.1 Visitas hoy
Primero cree la tabla de entrada: carga de transmisión, datos de la tabla Hudi:
CREATE TABLE edu_web_chat_ems_hudi (
id string PRIMARY KEY NOT ENFORCED,
create_date_time string,
session_id string,
sid string,
create_time string,
seo_source string,
seo_keywords string,
ip string,
area string,
country string,
province string,
city string,
origin_channel string,
`user` string,
manual_time string,
begin_time string,
end_time string,
last_customer_msg_time_stamp string,
last_agent_msg_time_stamp string,
reply_msg_count string,
msg_count string,
browser_name string,
os_info string,
part STRING
)
PARTITIONED BY (part)
WITH(
'connector'='hudi',
'path'= 'hdfs://node1.itcast.cn:8020/hudi-warehouse/edu_web_chat_ems_hudi',
'table.type'= 'MERGE_ON_READ',
'hoodie.datasource.write.recordkey.field'= 'id',
'write.precombine.field'= 'create_date_time',
'read.streaming.enabled' = 'true',
'read.streaming.check-interval' = '5',
'read.tasks' = '1'
);
Los resultados estadísticos se almacenan en Ver:
CREATE VIEW IF NOT EXISTS view_tmp_web_pv AS
SELECT day_value, COUNT(id) AS total FROM (
SELECT
FROM_UNIXTIME(CAST(create_time AS BIGINT) / 1000, 'yyyy-MM-dd') AS day_value, id
FROM edu_web_chat_ems_hudi
WHERE part = CAST(CURRENT_DATE AS STRING)
) GROUP BY day_value;
Guarde la base de datos MySQL:
-- SQL Connector MySQL
CREATE TABLE realtime_web_pv_mysql (
report_date STRING,
report_total BIGINT,
PRIMARY KEY (report_date) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://node1.itcast.cn:3306/itcast_rpt',
'driver' = 'com.mysql.cj.jdbc.Driver',
'username' = 'root',
'password' = '123456',
'table-name' = 'realtime_web_pv'
);
-- INSERT INTO 插入
INSERT INTO realtime_web_pv_mysql SELECT day_value, total FROM view_tmp_web_pv;
7.5.3.2 Volumen de consultas de hoy
Dado que las visitas y consultas de hoy consultan la tabla en Hudi: edu_web_chat_emes_hudi, después de la transmisión y la carga incremental de datos, no es necesario aquí.
Los resultados estadísticos se almacenan en Ver:
CREATE VIEW IF NOT EXISTS view_tmp_stu_consult AS
SELECT day_value, COUNT(id) AS total FROM (
SELECT
FROM_UNIXTIME(CAST(create_time AS BIGINT) / 1000, 'yyyy-MM-dd') AS day_value, id
FROM edu_web_chat_ems_hudi
WHERE part = CAST(CURRENT_DATE AS STRING) AND msg_count > 0
) GROUP BY day_value;
Guarde la base de datos MySQL:
-- SQL Connector MySQL
CREATE TABLE realtime_stu_consult_mysql (
report_date STRING,
report_total BIGINT,
PRIMARY KEY (report_date) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://node1.itcast.cn:3306/itcast_rpt',
'driver' = 'com.mysql.cj.jdbc.Driver',
'username' = 'root',
'password' = '123456',
'table-name' = 'realtime_stu_consult'
);
-- INSERT INTO 插入
INSERT INTO realtime_stu_consult_mysql SELECT day_value, total FROM view_tmp_stu_consult;
7.5.3.3 Intenciones de hoy
Primero cree la tabla de entrada: carga de transmisión, datos de la tabla Hudi:
create table edu_customer_relationship_hudi(
id string PRIMARY KEY NOT ENFORCED,
create_date_time string,
update_date_time string,
deleted string,
customer_id string,
first_id string,
belonger string,
belonger_name string,
initial_belonger string,
distribution_handler string,
business_scrm_department_id string,
last_visit_time string,
next_visit_time string,
origin_type string,
itcast_school_id string,
itcast_subject_id string,
intention_study_type string,
anticipat_signup_date string,
`level` string,
creator string,
current_creator string,
creator_name string,
origin_channel string,
`comment` string,
first_customer_clue_id string,
last_customer_clue_id string,
process_state string,
process_time string,
payment_state string,
payment_time string,
signup_state string,
signup_time string,
notice_state string,
notice_time string,
lock_state string,
lock_time string,
itcast_clazz_id string,
itcast_clazz_time string,
payment_url string,
payment_url_time string,
ems_student_id string,
delete_reason string,
deleter string,
deleter_name string,
delete_time string,
course_id string,
course_name string,
delete_comment string,
close_state string,
close_time string,
appeal_id string,
tenant string,
total_fee string,
belonged string,
belonged_time string,
belonger_time string,
transfer string,
transfer_time string,
follow_type string,
transfer_bxg_oa_account string,
transfer_bxg_belonger_name string,
part STRING
)
PARTITIONED BY (part)
WITH(
'connector'='hudi',
'path'= 'hdfs://node1.itcast.cn:8020/hudi-warehouse/edu_customer_relationship_hudi',
'table.type'= 'MERGE_ON_READ',
'hoodie.datasource.write.recordkey.field'= 'id',
'write.precombine.field'= 'create_date_time',
'read.streaming.enabled' = 'true',
'read.streaming.check-interval' = '5',
'read.tasks' = '1'
);
Los resultados estadísticos se almacenan en Ver:
CREATE VIEW IF NOT EXISTS view_tmp_stu_intention AS
SELECT day_value, COUNT(id) AS total FROM (
SELECT
FROM_UNIXTIME(CAST(create_date_time AS BIGINT) / 1000, 'yyyy-MM-dd') AS day_value, id
FROM edu_customer_relationship_hudi
WHERE part = CAST(CURRENT_DATE AS STRING) AND create_date_time IS NOT NULL AND deleted = 'false'
) GROUP BY day_value;
Guarde la base de datos MySQL:
-- SQL Connector MySQL
CREATE TABLE realtime_stu_intention_mysql (
report_date STRING,
report_total BIGINT,
PRIMARY KEY (report_date) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://node1.itcast.cn:3306/itcast_rpt',
'driver' = 'com.mysql.cj.jdbc.Driver',
'username' = 'root',
'password' = '123456',
'table-name' = 'realtime_stu_intention'
);
-- INSERT INTO 插入
INSERT INTO realtime_stu_intention_mysql SELECT day_value, total
FROM view_tmp_stu_intention;
7.5.3.4 Número de inscripción de hoy
Dado que el vector de intención de hoy y el número de solicitantes de hoy consultan la tabla en Hudi: edu_customer_relationship_hudi, después de transmitir y cargar datos de forma incremental, no es necesario aquí.
Los resultados estadísticos se almacenan en Ver:
CREATE VIEW IF NOT EXISTS view_tmp_stu_apply AS
SELECT day_value, COUNT(id) AS total FROM (
SELECT
FROM_UNIXTIME(CAST(payment_time AS BIGINT) / 1000, 'yyyy-MM-dd') AS day_value, id
FROM edu_customer_relationship_hudi
WHERE part = CAST(CURRENT_DATE AS STRING) AND payment_time IS NOT NULL
AND payment_state = 'PAID' AND deleted = 'false'
) GROUP BY day_value;
Guarde la base de datos MySQL:
-- SQL Connector MySQL
CREATE TABLE realtime_stu_apply_mysql (
report_date STRING,
report_total BIGINT,
PRIMARY KEY (report_date) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://node1.itcast.cn:3306/itcast_rpt',
'driver' = 'com.mysql.cj.jdbc.Driver',
'username' = 'root',
'password' = '123456',
'table-name' = 'realtime_stu_apply'
);
-- INSERT INTO 插入
INSERT INTO realtime_stu_apply_mysql SELECT day_value, total FROM view_tmp_stu_apply;
7.5.3.5 Los leads efectivos de hoy
Primero cree la tabla de entrada: carga de transmisión, datos de la tabla Hudi:
create table edu_customer_clue_hudi(
id string PRIMARY KEY NOT ENFORCED,
create_date_time string,
update_date_time string,
deleted string,
customer_id string,
customer_relationship_id string,
session_id string,
sid string,
status string,
`user` string,
create_time string,
platform string,
s_name string,
seo_source string,
seo_keywords string,
ip string,
referrer string,
from_url string,
landing_page_url string,
url_title string,
to_peer string,
manual_time string,
begin_time string,
reply_msg_count string,
total_msg_count string,
msg_count string,
`comment` string,
finish_reason string,
finish_user string,
end_time string,
platform_description string,
browser_name string,
os_info string,
area string,
country string,
province string,
city string,
creator string,
name string,
idcard string,
phone string,
itcast_school_id string,
itcast_school string,
itcast_subject_id string,
itcast_subject string,
wechat string,
qq string,
email string,
gender string,
`level` string,
origin_type string,
information_way string,
working_years string,
technical_directions string,
customer_state string,
valid string,
anticipat_signup_date string,
clue_state string,
scrm_department_id string,
superior_url string,
superior_source string,
landing_url string,
landing_source string,
info_url string,
info_source string,
origin_channel string,
course_id string,
course_name string,
zhuge_session_id string,
is_repeat string,
tenant string,
activity_id string,
activity_name string,
follow_type string,
shunt_mode_id string,
shunt_employee_group_id string,
part STRING
)
PARTITIONED BY (part)
WITH(
'connector'='hudi',
'path'= 'hdfs://node1.itcast.cn:8020/hudi-warehouse/edu_customer_clue_hudi',
'table.type'= 'MERGE_ON_READ',
'hoodie.datasource.write.recordkey.field'= 'id',
'write.precombine.field'= 'create_date_time',
'read.streaming.enabled' = 'true',
'read.streaming.check-interval' = '5',
'read.tasks' = '1'
);
Los resultados estadísticos se almacenan en Ver:
CREATE VIEW IF NOT EXISTS view_tmp_stu_clue AS
SELECT day_value, COUNT(id) AS total FROM (
SELECT
FROM_UNIXTIME(CAST(create_date_time AS BIGINT) / 1000, 'yyyy-MM-dd') AS day_value, id
FROM edu_customer_clue_hudi
WHERE part = CAST(CURRENT_DATE AS STRING) AND clue_state IS NOT NULL AND deleted = 'false'
) GROUP BY day_value;
Guarde la base de datos MySQL:
-- SQL Connector MySQL
CREATE TABLE realtime_stu_clue_mysql (
report_date STRING,
report_total BIGINT,
PRIMARY KEY (report_date) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://node1.itcast.cn:3306/itcast_rpt',
'driver' = 'com.mysql.cj.jdbc.Driver',
'username' = 'root',
'password' = '123456',
'table-name' = 'realtime_stu_clue'
);
-- INSERT INTO 插入
INSERT INTO realtime_stu_clue_mysql SELECT day_value, total FROM view_tmp_stu_clue;
Hasta ahora, se ha completado el análisis estadístico de los datos de los clientes de Chuanzhi Education, incluido el análisis fuera de línea y el análisis de transmisión en tiempo real. Los indicadores de hoy son computación de transmisión en tiempo real (consulta de transmisión Flink SQL), y los indicadores de ayer son procesamiento por lotes fuera de línea (Presto análisis de la memoria).
7.6 Visualización de informes FineBI
Utilice FineBI para conectarse a la base de datos MySQL de datos, cargar los datos del informe de indicadores comerciales y mostrarlos en diferentes gráficos.
