菠菜平台修复 python环境下运用kafka对数据实时传输

背景:
为了满足各个平台间数据的传输,菠菜平台修复企 娥:217 1793 408以及能确保历史性和实时性。先选用kafka作为不同平台数据传输的中转站,来满足我们对跨平台数据发送与接收的需要。

kafka简介:

Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)成为broker。无论是kafka集群,还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。

总之:kafka做为中转站有以下功能:1.生产者(产生数据或者说是从外部接收数据)2.消费着(将接收到的数据转花为自己所需用的格式)

环境:
1.python3.5.x

2.kafka1.4.3

3.pandas

准备开始:

1.kafka的安装

pip install kafka-python

猜你喜欢

转载自blog.51cto.com/13951976/2169485