大数据技术之Maxwell基础知识

大数据技术之Maxwell基础知识

---

0、写在前面

1.3.0版本开始不支持JDK8，本文是尚硅谷的教学文档，并加以个人学习记录

• Maxwell版本：Maxwell1.2.9
• Zookeeper版本：Zookeeper3.4.5
• Kafka版本：Kafka2.4.1
• MySQL版本：MySQL5.7

1、Maxwell 概述

1.1 Maxwell 定义

Maxwell 是由美国 Zendesk 开源，用 Java 编写的 MySQL 实时抓取软件。 实时读取 MySQL 二进制日志 Binlog，并生成JSON格式的消息，作为生产者发送给 Kafka，Kinesis、 RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。

官网地址：http://maxwells-daemon.io/

1.2 Maxwell 工作原理

1.2.1 MySQL 主从复制过程

• Master 主库将改变记录，写到二进制日志(binary log)中

• Slave 从库向 mysql master 发送 dump 协议，将 master 主库的 binary log events 拷贝到它的中继日志(relay log)；

• Slave 从库读取并重做中继日志中的事件，将改变的数据同步到自己的数据库。

1.2.2 Maxwell 的工作原理

Maxwell 的工作原理很简单，就是把自己伪装成 MySQL 的一个 slave，然后以 slave的身份假装从 MySQL(master)复制数据。

1.2.3 MySQL 的 binlog

（1）什么是 binlog

扫描二维码关注公众号，回复： 14989492 查看本文章

MySQL 的二进制日志可以说 MySQL 最重要的日志了，它记录了所有的 DDL 和DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL 的二进制日志是事务安全型的。

一般来说开启二进制日志大概会有 1%的性能损耗。二进制有两个最重要的使用场景:

• 其一：MySQL Replication 在 Master 端开启binlog，Master 把它的二进制日志传递给 slaves 来达到 master-slave 数据一致的目的。

• 其二：自然就是数据恢复了，通过使用 mysqlbinlog 工具来使恢复数据。

二进制日志包括两类文件：二进制日志索引文件（文件名后缀为.index）用于记录所有的二进制文件，二进制日志文件（文件名后缀为.00000*）记录数据库所有的 DDL 和DML(除了数据查询语句)语句事件。

（2）binlog 的开启

• 找到 MySQL 配置文件的位置

• Linux: /etc/my.cnf

如果/etc 目录下没有，可以通过 locate my.cnf 查找位置

• Windows: MySQL安装目录下的\my.ini文件

  • 在 mysql 的配置文件下,修改配置

  • 在[mysqld] 区块，设置/添加 log-bin=mysql-bin

这个表示binlog 日志的前缀是 mysql-bin，以后生成的日志文件就是 mysql-bin.000001的文件后面的数字按顺序生成，每次 mysql 重启或者到达单个文件大小的阈值时，新生一个文件，按顺序编号。

（3）binlog 的分类设置

mysql的binlog 格式有三种，分别是 STATEMENT，MIXED，ROW。

在配置文件中可以选择配置 binlog_format=statement|mixed|row

三种格式的区别：

• statement

语句级，binlog 会记录每次一执行写操作的语句。

相对 row 模式节省空间，但是可能产生不一致性，比如

update test set create_date=now();

如果用 binlog 日志进行恢复，由于执行时间不同可能产生的数据就不同。

优点： 节省空间

缺点： 有可能造成数据不一致。

• row

行级， binlog 会记录每次操作后每行记录的变化。

优点：保持数据的绝对一致性。因为不管 sql 是什么，引用了什么函数，他只记录执行后的效果。

缺点：占用较大空间。

• mixed

混合级别，statement 的升级版，一定程度上解决了 statement 模式因为一些情况而造成的数据不一致问题。

默认还是statement，在某些情况下，譬如：

当函数中包含 UUID() 时；

包含 AUTO_INCREMENT 字段的表被更新时；

执行 INSERT DELAYED 语句时；

用 UDF 时；

会按照 ROW 的方式进行处理。

优点：节省空间，同时兼顾了一定的一致性。

缺点：还有些极个别情况依旧会造成不一致，另外 statement 和 mixed 对于需要对

三种方式，binlog 监控的情况都不方便。

综合上面对比，Maxwell 适合做监控分析，选择 row格式比较合适

1.3 Maxwell与Cannal对比

对比	Canal	Maxwell
语言	java	java
数据格式	格式自由	json
采集数据模式	增量	全量/增量
数据落地	定制	支持 kafka 等多种平台
HA	支持	支持

2. Maxwell 使用

2.1 Maxwell 安装部署

2.1.1 安装地址

（1） Maxwell 官网地址：http://maxwells-daemon.io/

（2） 文档查看地址：http://maxwells-daemon.io/quickstart/

2.1.2 安装部署

（1） 软件基础，读者需要提前安装好 kafka 和 MySQL，此文档不再赘述。

（2） 上传 maxwell-1.29.2.tar.gz 到/opt/software 下

（3） 解压 maxwell-1.29.2.tar.gz 的安装包到/opt/module 下

[whybigdata@node01 software]$ tar -zxvf maxwell-1.29.2.tar.gz - C /opt/module/

2.1.3 MySQL 环境准备

（1）修改 mysql 的配置文件，开启 MySQL

[whybigdata@node01 software]$ sudo vim /etc/my.cnf
在[mysqld]模块下添加以下内容
[mysqld] server_id=1
log-bin=mysql-bin binlog_format=row
#binlog-do-db=test_maxwell

并重启 Mysql 服务
[whybigdata@node01 software]$ sudo systemctl restart mysqld

登录 mysql 并查看是否修改完成
[whybigdata@node01 ~]$ mysql -uroot -p123456 mysql> show variables like '%binlog%';
查看下列属性
binlog_format	| ROW

binlog-do-db=test_maxwell表示只监控test_maxwell这个库，不加这个参数表示监控所有库;

监控多个库（例如：test_maxwell、my_test）,不能写成「binlog-do-db=test_maxwell,my_test」，必须写成：

binlog-do-db=test_maxwell
binlog-do-db=my_test

如果想监控上百个库，上述方法过于繁琐，可以直接设置不需要监控的库

binlog-ignore-db=test_maxwell_10000

（2）进入/var/lib/mysql 目录，查看 MySQL 生成的 binlog 文件

[whybigdata@node01 ~]$ cd /var/lib/mysql 
[whybigdata@node01 mysql]$ sudo ls -l
总用量 188500
-rw-r-----. 1 mysql mysql 154 11 月 17 16:30 mysql-bin.000001	
-rw-r-----. 1 mysql mysql 154 11 月 17 16:30 mysql-bin.index

注：MySQL 生成的 binlog 文件初始大小一定是 154 字节，然后前缀是 log-bin 参数配置的，后缀是默认从.000001，然后依次递增。除了 binlog 文件文件以外，MySQL 还会额外生产一个.index 索引文件用来记录当前使用的 binlog 文件。

2.1.4 初始化 Maxwell 元数据库

（1） 在 MySQL 中建立一个 maxwell 库用于存储 Maxwell 的元数据

[whybigdata@node01 module]$ mysql -uroot -p123456 
mysql> CREATE DATABASE maxwell;

（2） 设置 mysql 用户密码安全级别

mysql> set global validate_password_length=4; 
mysql> set global validate_password_policy=0;

此处，如果出现错误，请尝试以下方式：

install plugin validate_password soname 'validate_password.so';

（3） 分配一个账号可以操作该数据库

123456是指你自己设置的maxwell用户的密码

mysql> GRANT ALL ON maxwell.* TO 'maxwell'@'%' IDENTIFIED BY '123456'

（4）分配这个账号可以监控其他数据库的权限

mysql> GRANT SELECT ,REPLICATION SLAVE , REPLICATION CLIENT ON *.* TO maxwell@'%';

（5）刷新权限

mysql> flush privileges;

mysql库下的user表;

2.1.5 Maxwell 进程启动

Maxwell 进程启动方式有如下两种：

（1） 使用命令行参数启动 Maxwell 进程

[whybigdata@node01 maxwell-1.29.2]$ bin/maxwell --user='maxwell' --password='123456' --host='node01'producer=stdout

• user 连接 mysql 的用户

• password 连接 mysql 的用户的密码

• host mysql 安装的主机名

• producer 生产者模式(stdout：控制台 kafka：kafka 集群)

启动结果

监控实例：新增数据

（2）修改配置文件，定制化启动 Maxwell 进程

[whybigdata@node01 maxwell-1.29.2]$ cp config.properties.example config.properties 
[whybigdata@node01 maxwell-1.29.2]$ vim config.properties
[whybigdata@node01	maxwell-1.29.2]$ bin/maxwell -- config ./config.properties

启动结果

监控update的数据

结束！