余老师带你学习大数据-Spark快速大数据处理第十章Kafka第四节Kafka-Admin

admin

Kafka Cluster

这是kafka为我们提供的四大类API,kafka不存在单节点一说,存在的单节点也是单节点集群,都是一个一个的集群,kafka默认的就是集群。有两个客户端操作分别是Producers客户端和Consumers客户端,Connectors就是kafka和DB的一个交互,Stream Processors是流处理API。最常用的是Producers和Consumers,最复杂的是Consumers,所以Consumers是我们的重点。除了这四类还有Admin,这一共是五类API。
在这里插入图片描述

客户端API类型

在这里插入图片描述

AdminClient API:允许管理和检测Topic、broker以及其它Kafka对象。
Producer API:发布消息到1个或多个topic。
Consumer API :订阅一个或多个topic,并处理产生的消息。
Streams API:高效地将输入流转换到输出流。
Connector API:从一些源系统或应用程序中拉取数据到kafka。

代码操做加解释

1、创建Java Empty Env
在这里插入图片描述

2、点击左侧第一个图标上传程序文件
在这里插入图片描述

3、点击右键选择Upload Flies
在这里插入图片描述

4、点击右侧第二个图标新建new terminal
在这里插入图片描述

5、在命令行里输入命令,先解压程序压缩包
命令:tar -xf kafka-study-coding.tar
在这里插入图片描述

6、删除压缩包
命令:rm -rf kafka-study-coding.tar
在这里插入图片描述

7、以root用户登录
命令:sudo /bin/bash
在这里插入图片描述

8、将kafka集群的ip地址添加到hosts文件中
命令:vi /etc/hosts 192.168.30.140 app-13 192.168.138.63 app-12 192.168.235.178 app-11
在这里插入图片描述

9、进入到程序目录下
命令:cd kafka-study-coding/
在这里插入图片描述

往后的操作都是先编译后运行
编译:mvn compile -Dexec.mainClass="com.kinginsai.bigdata.kafka.admin.AdminSample"
运行:mvn exec:java -Dexec.mainClass="com.kinginsai.bigdata.kafka.admin.AdminSample" -Dexec.classpathScope=runtime -Dmaven.test.skip=true
10、设置AdminClient,连接kafka集群,地址是服务器的host
在这里插入图片描述

11、创建Topic,Topic的名字为songshu-topic,运行的结果打印出来
在这里插入图片描述

12、获取topic列表
在这里插入图片描述

13、删除topic,并查看topic是否删除
在这里插入图片描述
运行结果:在这里插入图片描述
在这里插入图片描述

14、描述topic

在这里插入图片描述
运行结果:
在这里插入图片描述

15、查看配置信息
在这里插入图片描述
运行结果:
在这里插入图片描述

16、增加partition,之后运行描述topic,看是否增加了
在这里插入图片描述
运行结果:
在这里插入图片描述

在这里插入图片描述

常见问题
1、

在这里插入图片描述

在root用户下,删除target。
在这里插入图片描述
2、在创toptic的时候,出现以下警告,是因为后台在不停的打印,创建成功之后还在打印,在创建的就是重复的了,所以出以下警告

在这里插入图片描述

在创建的最后加上adminClient.close();关闭adminClient即可。
在这里插入图片描述

详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/weixin_45810046/article/details/113105151
今日推荐