kafka学习(1)--消息队列介绍&安装

版权声明:本文为博主原创文章,请注明来源。 https://blog.csdn.net/u012587734/article/details/80437359

消息队列(Message Queue)
简单来说:消息队列的核心思想非常简单,就是一个生产消费队列。(
提供了异步的通信协议,可以实现进程间通信或同一进程的不同线程间通信。其中“消息”是指对包含必要信息的数据。消息的发送者发送完毕后立即返回,消息被存储进队列中,对这个消息感兴趣的消费者会订阅并接收和处理它。

稍微复杂点说:消息队列中间件(简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、流量削峰、异步通信、数据同步等等功能,其作为分布式系统架构中的一个重要组件,有着举足轻重的地位。

应用解耦,,消息与平台无关和语言无关提s高了程序的可扩展性。
异步通信:可以缩短请求等待的时间,使用专门处理请求的消费者来执行,提高了web页面的
数据持久化:未完成消息不会因为某些故障而丢失。
送达保证 :自身机制保证消息送达。
灵活性&峰值处理: 在访问量剧增的情况下,应用仍然需要继续发挥作用。应用实例可以控制拉取消息的频率,实现并发控制。

MQ阵容:
ActiveMQ 重量级老牌MQ,诞生自Java生态,功能完备,相关的介绍很多。很重量级。
RabbitMQ同样是老牌MQ,基于erlang实现,语言无关,功能完备,诞生自金融领域。
ZeroMQ 开发难度大。但是很快。ZeroMQ 本身就不是一个消息队列服务器,更像是一组底层网络通讯库,对原有的 Socket API 上加上一层封装而已。
Kafka MQ后起之秀,很多情况下超越了前辈,在大数据的支持方面,目前无人能出其右。在监控系统性能指标,用户行为分析等日志型信息方面性能好。

系统监控,用户行为分析等数据具有以下特点:
1. 数据不可变。
2. 海量数据。
3. 需要实时处理。

部署:
1 安装jdk ,下载java 8 以上版本的jdk,到本地安装并添加环境变量。
解压:

tar -zxf jdk-8u171-linux-x64.tar.gz

移动到安装目录:

mv jdk1.8.0_171/ /usr/local/

添加环境变量:

[root@bogon kafka_2.11-1.1.0]# cat /etc/profile.d/java.sh 
# set JAVA  JDK
export JAVA_HOME=/usr/local/jdk1.8.0_171/
export JRE_HOME=/usr/local/jdk1.8.0_171/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH

测试:

[root@bogon kafka_2.11-1.1.0]# java -v
Unrecognized option: -v
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

2 安装单机kafka,(此时没有配置kafka集群)。下载压缩包。解压到安装目录。
3.启动zookeeper ,kafka依赖于zookeeper。

[root@bogon kafka_2.11-1.1.0]# bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 

4.启动kafka,以守护进程模式。’

[root@bogon kafka_2.11-1.1.0]# bin/kafka-server-start.sh -daemon config/server.properties 

以上为单机部署。


遇到问题:
安装的时候报错:

ERROR [KafkaServer id=0] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
java.net.UnknownHostException: bogon: bogon: 未知的名称或服务

修改主机名:

hostname localhost

使用:
kafka使用9092,为消息输入输出端口。
Zookeeper默认监听2181端口。

猜你喜欢

转载自blog.csdn.net/u012587734/article/details/80437359