Kafka介绍之二

概念: 主题 topic
生产业务:
oms订单系统–mysql–>flume–>kafka( omstopic ) -->ss1

wms仓库系统–mysql–>flume–>kafka( wmstopic ) -->ss2

kafka创建主题 一般根据业务系统数据处理来划分
最终落在磁盘上就是创建文件夹(liunx系统文件夹)

topic相当于文件夹
mkdir omstopic
mkdir wmstopic
日志存储在log liunx系统文件

在这里插入图片描述
一个主题有三个分区(一个topic是有多个分区,分区可以自己定义
1亿行 omstopic_0 100W/s log append追加 自身的分区有序的
omstopic_1 200W/s log append追加 自身的分区有序的
omstopic_2 300W/s log append追加 自身的分区有序的
2.每个分区数据是有序的排列
3.随着时间的推移,数据是追加的

.Kafka应用场景

1.日志收集:一个公司可以用Kafka可以收集各种服务的log,通过kafka以统一接口服务的方式开放给各种consumer
2.消息系统:解耦生产者和消费者、缓存消息等
3.用户活动跟踪:kafka经常被用来记录web用户或者app用户的各种活动,如浏览网页、搜索、点击等活动,这些活动信息被各个服务器发布到kafka的topic中,然后消费者通过订阅这些topic来做实时的监控分析,亦可保存到数据库
4.运营指标:kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据,生产各种操作的集中反馈,比如报警和报告
5.流式处理:比如spark streaming和storm;

Kafka的优势

高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒
可扩展性:kafka集群支持热扩展
持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失
容错性:允许集群中节点故障(若副本数量为n,则允许n-1个节点故障)
高并发:支持数千个客户端同时读写

猜你喜欢

转载自blog.csdn.net/qq_43688472/article/details/86221765
今日推荐