Verwendungsszenarien
: Protokollverarbeitung:
Wenn eine große Parallelität vorliegt, schreiben Sie das Protokoll in die Nachrichtenwarteschlange. Nachrichtenkommunikation
.
Punkt-zu-Punkt-Nachrichtenwarteschlange.
Produkte
. In der aktuellen Produktionsumgebung umfassen die am häufigsten verwendeten Nachrichtenwarteschlangen ActiveMQ , RabbitMQ, ZeroMQ, Kafka, MetaMQ, RocketMQ usw.
** werden eingeführt:
- Kafka**
Vorteile
Hoher Durchsatz: Sehr verbreitete Hardware. Kafka kann auch Millionen von Nachrichten pro Sekunde unterstützen.
Unterstützt die Nachrichtendifferenzierung durch Kafka-Server und Consumer-Cluster.
Unterstützt das parallele Laden von Hadoop-Daten
Verwandte Konzepte
Broker: Ein oder mehrere Server in einem Kafa-Cluster werden gemeinsam als Broker bezeichnet.
Thema: Verschiedene Kategorien von Nachrichtenquellen (Nachrichtenfeeds), die von Kafka verarbeitet werden. 0
Partition: Physische Gruppierung von Themen. Ein Thema kann in mehrere Partitionen unterteilt werden, und jede Partition ist eine geordnete Warteschlange. Jeder Nachricht in der Partition wird eine geordnete ID (Offset) zugewiesen.
Nachricht: Nachricht ist die Grundeinheit der Kommunikation. Jeder Produzent kann einige Nachrichten zu einem Thema veröffentlichen.
Produzenten: Nachrichten- und Datenproduzenten. Der Prozess der Veröffentlichung von Nachrichten zu einem Thema in Kafka wird als Produzenten bezeichnet.
Verbraucher: Nachrichten- und Datenkonsumenten. Der Prozess des Abonnierens von Themen und der Verarbeitung der von ihnen veröffentlichten Nachrichten wird als Verbraucher bezeichnet.
kafka offiziell
http://kafka.apache.org Laden Sie wget
herunter und installieren Sie es auf dem Server http://mirrors.hust.edu.cn/apache/kafka/2.1.1/kafka_2.11-2.1.1.tgz
Entpacken
tar xvf kafka_2.11-2.1.1.tgz
移动到常用目录
mv ./kafka_2.11-2.1.1/* /usr/local/kafka
进行配置
cd config
先配置zookeeper.properties(kafka是基于zookeeper管理集群的)
vim zookeeper.properties (可以使用默认值,主要看使用端口)
在配置server.properties
开启监听端口 listeners:PLANTEXT://localhost:9092 (指定监听的地址)
zookeeper.connect=localhost:2181 (和zookeeper.properties配置一致)
进入到bin目录,
①启动zookeeper-server-start.sh
使用 bin/zookeeper-server-start.sh config/zookeeper.properties 启动,(关联配置文件)
②然后启动kafka-server-start.sh
使用 bin/kafka-server-start.sh config/server.properties 启动,(关联配置文件)
Beachten Sie, dass es beim Start mit der Java-Umgebung kombiniert werden muss
Installieren Sie die Java-Umgebung wie folgt
下载地址
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
解压
tar -zxvf jdk-8u201-linux-i586.tar;
移动存放位置
mv jdk1.8.0_201 /usr/local/java
设置环境变量
vim /etc/profile
在最前面添加：
export JAVA_HOME=/usr/lib/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
刷新配置文件
source /etc/profile
检查java 版本
java -version