kafka connect管理平台-confluent platform
目录
准备工作
我们必须要先安装好 debezium 环境
Debezium同步MySQL变更到kafka教程
配置Connector
下载
1. 下载，到官方网址下载最新1.2 版debezium-mysql-connector：https://debezium.io/releases/1.2/
2.通过命令行下载
wget -P ~/Downloads/kafka http://packages.confluent.io/archive/5.2/confluent-5.2.3-2.12.tar.gz
文件目录
/bin/ 启动和停止服务的驱动脚本
/etc/ 配置文件
/lib/ 系统服务
/log/ 日志文件
/share/ jar包和许可证
/src/ 需要依赖于平台构建的源文件
修改配置
设置环境变量
在/etc/profile添加
export CONFLUENT_HOME=<path> # 解压目录
export PATH=$PATH:CONFLUENT_HOME/bin
因为本教程只单独使用 control-center 组件 所以平台里面的 zk 和kafka 没有做相关的 配置
修改control-center-dev.properties
修改配置
[vmuser@linux-app-10-90-81-121 confluent-control-center]$ cd /service/software/debezium/confluent-5.2.3/etc/confluent-control-center
[vmuser@linux-app-10-90-81-121 confluent-control-center]$
[vmuser@linux-app-10-90-81-121 confluent-control-center]$ ls
control-center-dev.properties control-center-production.properties control-center.properties kafka-api.properties ldap.conf log4j.properties log4j-rolling.properties log4j-silent.properties propertyfile.conf
[vmuser@linux-app-10-90-81-121 confluent-control-center]$ vim control-center-dev.properties
注意： 这里我的 kafka 和 zk 和 kafka connect 均是单独安装部署的 所以这里要修改连接地址( 因为只做可视化 ，不建议用内部自带的)
开启confluent
单独启动
bin/control-center-start -daemon etc/confluent-control-center/control-center-dev.properties
访问
浏览器 访问 http://10.90.81.121:9021/ 可以看到如下界面 说明启动成功
可以通过平台看 kafka connect 的运行状态 配置 还有 topic 及分区 还有集群信息
另外建议配合以下命令使用
GET /Connectors：返回活跃的 Connector 列表
POST /Connectors：创建一个新的 Connector；请求的主体是一个包含字符串name字段和对象 config 字段（Connector 的配置参数）的 JSON 对象。
GET /Connectors/{name}：获取指定 Connector 的信息
GET /Connectors/{name}/config：获取指定 Connector 的配置参数
PUT /Connectors/{name}/config：更新指定 Connector 的配置参数
GET /Connectors/{name}/status：获取 Connector 的当前状态，包括它是否正在运行，失败，暂停等。
GET /Connectors/{name}/tasks：获取当前正在运行的 Connector 的任务列表。
GET /Connectors/{name}/tasks/{taskid}/status：获取任务的当前状态，包括是否是运行中的，失败的，暂停的等，
PUT /Connectors/{name}/pause：暂停连接器和它的任务，停止消息处理，直到 Connector 恢复。
PUT /Connectors/{name}/resume：恢复暂停的 Connector（如果 Connector 没有暂停，则什么都不做）
POST /Connectors/{name}/restart：重启 Connector（Connector 已故障）
POST /Connectors/{name}/tasks/{taskId}/restart：重启单个任务 (通常这个任务已失败)DELETE /Connectors/{name}：删除 Connector, 停止所有的任务并删除其配置Kafka Connector 还提供了获取有关 Connector plugins 信息的 REST API：
GET /Connector-plugins：返回已在 Kafka Connect 集群安装的 Connector plugin 列表。请注意，API 仅验证处理请求的 worker 的 Connector。这以为着你可能看不不一致的结果，特别是在滚动升级的时候（添加新的 Connector jar）
PUT /Connector-plugins/{Connector-type}/config/validate ：对提供的配置值进行验证，执行对每个配置验证，返回验证的建议值和错误信息
扩展
全部开启
$ bin/confluent start
This CLI is intended for development only, not for production
https://docs.confluent.io/current/cli/index.html
Using CONFLUENT_CURRENT: /tmp/confluent.kCqiBZdw
Starting zookeeper
zookeeper is [UP]
Starting kafka
kafka is [UP]
Starting schema-registry
schema-registry is [UP]
Starting kafka-rest
kafka-rest is [UP]
Starting connect
connect is [UP]
Starting ksql-server
ksql-server is [UP]
Starting control-center
control-center is [UP]
单独启动
# 启动zookeeper server
bin/zookeeper-server-start etc/kafka/zookeeper.properties
# 启动kafka server
bin/kafka-server-start etc/kafka/server.properties
# 启动ksql server
bin/ksql-server-start -daemon etc/ksql/ksql-server.properties
停止融合平台
使用Confluent CLI stop命令停止Confluent Platform
bin/confluent stop
使用destroy命令销毁Confluent Platform实例中的数据。
bin/confluent destroy