先设置jdk1.8
vi /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=/usr/local/jdk/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile
一、安装zookeeper
官网地址:https://zookeeper.apache.org/
tar zxvf zookeeper-3.4.12.tar.gz
mv zookeeper-3.4.12 /usr/local/zookeeper
cd /usr/local/zookeeper/conf
mv zoo_sample.cfg zoo.cfg
mkdir /usr/local/zookeeper/data
修改zoo.cfg配置文件
vi /usr/local/zookeeper/conf/zoo.cfg
dataDir=/usr/local/zookeeper/data
autopurge.purgeInterval=1
修改bin/zkEnv.sh脚本
vi /usr/local/zookeeper/bin/zkEnv.sh
将ZOO_LOG_DIR="." 修改为ZOO_LOG_DIR="/usr/local/zookeeper/data"
将ZOO_LOG4J_PROP=”INFO,CONSOLE” 修改为ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
修改bin/zkServer.sh脚本:
vi /usr/local/zookeeper/bin/zkServer.sh
将ZOOBIN="${BASH_SOURCE-$0}" 修改为ZOOBIN=`readlink -f "${BASH_SOURCE-$0}"`
修改bin/zkCli.sh脚本:
vi /usr/local/zookeeper/bin/zkCli.sh
将ZOOBIN="${BASH_SOURCE-$0}" 修改为ZOOBIN=`readlink -f "${BASH_SOURCE-$0}"`
建立软连接
ln -s /usr/local/zookeeper/bin/zkServer.sh /usr/local/bin/zk-server
ln -s /usr/local/zookeeper/bin/zkCli.sh /usr/local/bin/zk-cli
echo 1 > /usr/local/zookeeper/data/myid
启动:zk-server start
关闭:zk-server stop
二、安装kafka
下载:http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.12-1.0.0.tgz
tar zxvf kafka_2.12-1.0.0.tgz
mv kafka_2.12-1.0.0 kafka
#创建日志目录
mkdir -p /usr/local/kafka/kafkaLogs
#修改配置文件
vi /usr/local/kafka/config/server.properties
broker.id=0
port=9092 #端口
host.name=10.8.5.101 #服务器IP地址,修改为自己的服务器IP
zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181
log.dirs=/usr/local/kafka/kafkaLogs #日志存放路径,上面创建的日志目录
delete.topic.enable=true #可以删除主题
auto.create.topics.enable=false #关闭自动创建topic
num.network.threads=cpu核数+1 #broker处理消息的最大线程数(默认为3)
num.io.threads=cpu核数*2 #broker处理磁盘IO的线程数
log.flush.interval.messages=10000 #每当producer写入10000条消息时,刷数据到磁盘
log.flush.interval.ms=1000 #每间隔1秒钟时间,刷数据到磁盘
log.retention.hours=72 #保留三天,也可以更短
log.segment.bytes=1073741824 #段文件配置1GB,有利于快速回收磁盘空间,重启kafka加载也会加快
#设置kafka的环境变量
vi /etc/profile
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin
source /etc/profile
#设置hosts文件
#先用hostname获取主机名
vi /etc/hosts
127.0.0.1 elk
192.168.1.194 elk
#后台启动
nohup /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties > /dev/null 2>&1 &