kafka数据管道

把书读薄(Kafka权威指南 第七章)

向kafka塞入(读取)数据的方式?

1. 通过构建kafka客户端,进行读取或者写入。这种方式代码一般会被嵌入到应用程序
2. 使用Connect Api,面对的是市面上的存储系统,

Connect Api怎么处理与其它系统交互的?

connect api包含3个基本概念:worker进程,连接器,转换器
1. 连接器:她负责决定需要运行多少的任务,按照任务来拆分数据复制,从worker获取对应任务的配置并传递下去。而任务就负责将数据搬进和移出kafka,任务在初始化的时候会得到woker进程分配的源文件上下文,里面提供一些方法可以对数据进行清理,重试偏移量保存等等操作
2. worker进程:处理HTTP请求【定义连接器和连接器配置】、保存连接器的配置、启动连接器和连接器任务、将配置信息传递给任务、提交偏移量。总的来说,它负责配置管理、可靠性、高可用性、伸缩性和负载均衡
3. 数据转换:对于每种数据有自己的schema,源链接器通过转换器将数据保存到kafka,而目标连接器则使用worke指r定的转换器转换成对应的格式

猜你喜欢

转载自blog.csdn.net/weixin_39687783/article/details/80150220