Canal解析MySQL 5.7的binlog

1.配置Linux的yum源

1.0删除老版本的MySQL

yum remove mysql mysql-server

rm -rf /var/lib/mysql

1.1在命令行中执行如下的命令，添加MySQL5.7的yum源

cat >> /etc/yum.repos.d/mysql57.repo << EOF

[mysql57-community]

name=MySQL 5.7 Community Server

baseurl=http://repo.mysql.com/yum/mysql-5.7-community/el/6/\$basearch/

enabled=1

gpgcheck=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql

EOF

1.2 执行安装MySQL的命令(用root用户安装，普通用户使用sudo)

 yum install -y mysql-community-server

2.启动MySQL服务

service mysqld start

3.修改MySQL密码

3.1获取MySQL临时密码

grep 'temporary password' /var/log/mysqld.log

3.2使用临时密码登录MySQL

mysql -uroot -p-yuysJYN?0ul

3.3修改MySQL密码

修改密码的安全级别(生产环境不用修改)

set global validate_password_policy=LOW;

set global validate_password_length=6;

ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

4.添加一个普通用户

4.1 创建一个普通用户

CREATE USER canal IDENTIFIED BY 'canal123';

4.2赋予权限

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';

4.3刷新权限

FLUSH PRIVILEGES;

5 创建一个数据库

CREATE DATABASE doit CHARSET utf8;

6 修改MySQL的配置

canal的原理是基于mysql binlog技术，所以这里一定需要开启mysql的binlog写入功能，建议配置binlog模式为row

修改MySQL配置文件

vi /etc/my.cnf

一定要配置mysql的biglog模式为ROW

[mysqld]

log-bin=mysql-bin #添加这一行就ok

binlog-format=ROW #选择row模式

server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复

重启mysql

service mysqld restart

7安装Canal的

7.1 下载Cannal 1.1.3版本(canal.deployer-1.1.3.tar.gz)

https://github.com/alibaba/canal/releases

7.2上传到MySQL所在的机器上，然后解压

mkdir -p /bigdata/canal

tar -zxvf canal.deployer-1.1.3.tar.gz -C /bigdata/canal/

8.修改Canal的配置文件

需求：将MySQL的binlog数据采集后发生到Kafka中

8.1修改canal的主配置文件

cd /bigdata/canal/

vi canal.properties

#canal跟kafka整合，将数据发送到kafka

canal.serverMode = kafka

#指定kafka broker地址

canal.mq.servers = node-1.51doit.cn:9092,node-2.51doit.cn:9092,node-3.51doit.cn:9092

#数据发送kafka失败重试次数

canal.mq.retries = 10

8.2修改canal的实例配置文件

vi conf/example/instance.properties

#mysql数据库的地址

canal.instance.master.address=127.0.0.1:3306

#mysql用户名

canal.instance.dbUsername=canal

#mysql密码

canal.instance.dbPassword=canal123

#注释掉使用默认的topic(将数据写入到默认的Topic)

#canal.mq.topic=example

# dynamic topic route by schema or table regex

#使用动态topic，将doit的数据库的test表发送到kafka的test1的topic

#将doit的数据库的user表发送到kafka的user1的topic

canal.mq.dynamicTopic=test1:doit\\.test,user1:doit\\.user

8.3启动Canal

bin/startup.sh

https://github.com/alibaba/canal/wiki/AdminGuide

mysqladmin -uroot -pDoIt123 password 123456

GRANT ALL PRIVILEGES ON hivedb.* TO 'hive'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

FLUSH PRIVILEGES;

开启Kafka消费者

/usr/apps/kafka_2.11-1.1.1/bin/kafka-console-consumer.sh --bootstrap-server linux01:9092,linux02:9092,linux03:9092 --from-beginning --topic example

登录Mysql

启动mysql

service mysqld start

mysql -uroot -p123456

建表：

create table user (id int , name varchar(20) );

插入数据

insert into user values (1 , "a");

insert into user values (1 , "li");

接收到的数据

说明部署成功。。。

Canal解析MySQL 5.7的binlog 发送数据到Kafka中