kafka-connect——数据导入导出——插件所支持的数据系统类型

配置kafka-connect需要知道kafka与其它系统之间的连接,那么kafka-connect都支持什么连接呢,默认kafka中不能使用任何链接,需要手动现在kafka对应的连接插件,然后放到connect配置文件中配置的plugin.path插件存储路径下才可以。第三方开发好的connect见连接:https://www.confluent.io/product/connectors/(也可以百度:confluent,然后product---Confluent Hub,搜索对应需要的connect插件即可),可以根据自己的连接在网址上进行选择然后下载,将下载压缩包进行解压,然后将解压的文件夹放到在connect配置文件中配置的plugin插件路径下即可。然后启动connect就可以使用新的connect连接。

以下是kafka-connect常用的连接方式,如果再需要其他的可自行百度即可:以下输入、输出都是相对kafka来说的。

io.confluent.connect.jdbc.JdbcSinkConnector,(jdbc输出)

io.confluent.connect.jdbc.JdbcSourceConnector, (jdbc输入)

org.apache.kafka.connect.file.FileStreamSinkConnector,  (file输出)

org.apache.kafka.connect.file.FileStreamSourceConnector, (file输入)

io.confluent.connect.elasticsearch.ElasticsearchSinkConnector,(es输出)

io.confluent.connect.hdfs.HdfsSinkConnector, (hdfs输出)

官网connect支持插件查找:

可以百度:confluent,然后product---Confluent Hub,搜索对应需要的connect插件,然后查看document中对应文档即可。

通过上图步骤,可以搜索到自己需要的kafka与其它数据系统对接,如果有对应的第三方插件最好了,那就直接下载对应的压缩包,然后解压到connect连接器启动时在connect-standalone或connect-distribute配置文件中配置的plugin.path插件路径下即可。然后查看对应的document文档即可编写数据来源或数据目的对应的数据配置文件。

发布了131 篇原创文章 · 获赞 23 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/LSY_CSDN_/article/details/103750976