Hadoop生态圈-Kafka工作原理解析

              Hadoop生态圈-Kafka工作原理解析

                                       作者:尹正杰

版权声明:原创作品,谢绝转载!否则将追究法律责任。

一.Kafka简介

  在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。
    1>.Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。
    2>.Kafka最初是由LinkedIn公司开发,并于 2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。
    3>.Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)成为broker。
    4>.无论是kafka集群,还是producer和consumer都依赖于zookeeper集群保存一些meta信息,来保证系统可用性。

二.

三.

猜你喜欢

转载自www.cnblogs.com/yinzhengjie/p/9652392.html