linux搭建kafka环境记录

1.安装wget ,可以远程连接url进行安装
刚安装好虚拟机遇到yum不识别,源文件/etc/sysconfig/network-scripts/ifcfg-ensxx 文件配置未重新启动(service network restart)
yum install wget

2.下载jdk,并配置安装
2.1 wget -r  https://download.oracle.com/otn-pub/java/jdk/8u201-b09/42970487e3af4f5aa5bca3f542482c60/jdk-8u201-linux-x64.tar.gz (这样下载的不能解压)
本地下载,上传(yum install lrzsz)
2.2 解压jdk.tar ,tar -zxvf xx.tar
2.3 配置jdk环境变量
vi /etc/profile ,末尾添加以下
---------------------------------------------
export JAVA_HOME=/joe/jdk1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_PATH}/lib
export PATH=${JAVA_HOME}/bin:$PATH
---------------------------------------------
2.4 执行配置文件
source /etc/profile
2.5 java -version 

3.安装zookeeper
3.1 下载解压zookeeper
3.2 创建dataDir和dataLogDir目录
3.3 在dataDir目录下创建myid,并写入数字(与3.4中的server.x匹配)
3.4 配置conf目录下创建配置zoo.cfg,末尾添加配置(默认集群模式)
dataDir=/joe/zookeeper/data
dataLogDir=/joe/zookeeper/dataLog
server.1=10.10.110.86:2888:3888
server.2=10.10.110.116:2888:3888
3.5 启动集群zookeeper服务器(不分先后)
./bin/zkServer.sh start
3.6 查看状态 
./bin/zkServer.sh status 
这个步骤出现了坑,一直提示 it is probably not running.检查了几遍配置都没问题,最后发现未开通2181 2888 3888端口
10.10.110.xx是该server所在的IP地址.
2888是该server和集群中的leader交换消息所使用的端口.
3888是选举leader时所使用的端口.
firewall-cmd --zone=public --add-port=2181/tcp --permanent
firewall-cmd --reload
3.7 重新启动查看状态,显示 follower leader.

4.安装kafka
4.1 下载,解压
wget http://mirrors.hust.edu.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz
tar -zxvf xx.tgz
4.2 配置server.properties
broker.id=1
listeners=PLAINTEXT://10.10.110.86:9092
advertised.listeners=PLAINTEXT://10.10.110.86:9092
zookeeper.connect=10.10.110.86:2181,10.10.110.116:2181
4.3 启动kafka
./bin/kafka-server-start.sh -daemon config/server.properties
4.4 创建topic test
./bin/kafka-topics.sh --create --zookeeper 10.10.110.86:2181 --replication-factor 1 --partitions 1 --topic test
4.5 测试生产者 消费者
 ./bin/kafka-console-producer.sh --broker-list 10.10.110.86:9092 --topic test
然后输入消息内容,另起一个命令窗口
./bin/kafka-console-consumer.sh --bootstrap-server 10.10.110.116:9092 --topic test --from-beginning
会发现,生产者一边输入消息  消费者同时打印

5. 安装kafka-manager
5.1下载 https://github.com/yahoo/kafka-manager/releases ,解压
5.2 配置conf/application.conf,修改zkhosts
kafka-manager.zkhosts="10.10.110.86:2181,10.10.110.116:2181"
5.3 生成部署文件
./sbt clean dist
生成 target/universal/kafka-manager-1.3.3.22.zip
unzip kafka-manager-1.3.3.22.zip
这一个过程一度以为虚拟机卡死了,时间真的是相当慢,记住 万事问度娘,
这个过程主要是配置sbt仓库,相当于下载maven jar一样,国内一般都是用阿里云镜像,知识点来了
cd ~ ,进入  cd .sbt,创建 vi repositories
--------------------------------------------
[repositories]
local
aliyun: http://maven.aliyun.com/nexus/content/groups/public
typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
--------------------------------------------
官方文档
http://www.scala-sbt.org/0.13.2/docs/Detailed-Topics/Library-Management.html#override-all-resolvers-for-all-builds
The repositories used by the launcher can be overridden by defining ~/.sbt/repositories 覆盖定义此文件
然后重新 ./sbt clean dist ,速度 还是很慢 不过还好可以出来了

貌似没用,还是慢慢等吧
5.4 解压生成的应用部署文件,启动服务
./bin/kafka-manager  -Dhttp.port=8000(默认9000)  -java-home /usr/local/jdk1.8(根据jdk位置启动)
 nohup ./bin/kafka-manager > /dev/null 2>&1 &   不打印输出

猜你喜欢

转载自blog.csdn.net/bighacker/article/details/86644893