Kafka安装
配置文件修改解释
server.properties
1、修改前：
将#listeners=PLAINTEXT://:9092修改为listeners=PLAINTEXT://app-11:9092、#advertised.listeners=PLAINTEXT://your.host.name:9092修改为#advertised.listeners=PLAINTEXT://app-11:9092是改为自己本机的ip
修改后：
2、修改前：
将log.dirs=/tmp/kafka-logs修改为log.dirs=/hadoop/Kafka/kafka_2.11-2.2.0/kafka-logs这是改为kafka的目录下，会自动生成kafka-logs目录
修改后：
3、修改前：
将zookeeper.connect=localhost:2181修改为zookeeper.connect=app-11:2181,app-12:2181,app-13:2181，这是修改zookeeper，我们的zookeeper不仅在app-11上，还有app-12和app-13上。
修改后：
下载安装包
1、以hadoop用户登录
命令：su – hadoop
2、进入到hadoop的根目录下
命令：cd /hadoop/
3、创建安装kafka的目录
命令：mkdir Kafka
4、进入Kafka目录
命令：cd Kafka/
5、下载kafka安装包
命令：wget http://archive.apache.org/dist/kafka/2.2.0/kafka_2.11-2.2.0.tgz
6、解压安装包
命令：tar -xvf kafka_2.11-2.2.0.tgz
修改配置文件
7、进入配置文件
命令：cd kafka_2.11-2.2.0/config/
8、将server.properties配置文件删除
命令：rm -rf server.properties
9、将修改好的配置文件拷贝到该目录下
命令：cp /tmp/Spark-stack/Kafka/conf/server.properties ./
10、返回上级目录
命令：cd ..
11、测试单节点是否安装成功，启动kafka
命令：bin/kafka-server-start.sh config/server.properties &
12、查看是否启动成功
命令：ps -ef|grep kafka
13、关闭kafka
命令：bin/kafka-server-stop.sh
14、修改环境变量
命令：vi ~/.bashrc
export KAFKA_HOME=/hadoop/Kafka/kafka_2.11-2.2.0
export PATH=${KAFKA_HOME}/bin:$PATH
15、使环境生效
命令：source ~/.bashrc
13、查看环境变量是否生效
命令：echo $PATH
其他机器的设置
14、在app-12和app-13上创建安装kafka的目录
命令：ssh hadoop@app-12 "mkdir /hadoop/Kafka"、ssh hadoop@app-13 "mkdir /hadoop/Kafka"
15、返回上级目录
命令：cd ..
16、将kafka安装拷贝到app-12和app-13上
命令：scp -r kafka_2.11-2.2.0/ hadoop@app-13:/hadoop/Kafka/、scp -r kafka_2.11-2.2.0/ hadoop@app-12:/hadoop/Kafka/
17、将环境变量拷贝到其他机器上
命令：scp ~/.bashrc hadoop@app-12:~/、scp ~/.bashrc hadoop@app-13:~/
修改其他机器上的配置文件
14、登录app-12机器
命令：ssh hadoop@app-12
15、打开配置文件
命令：vi /hadoop/Kafka/kafka_2.11-2.2.0/config/server.properties
将所有的app-11改为app-12
app-12broker.id改为1
16、退出app-12机器
命令：exit
17、登录app-13机器
命令：ssh hadoop@app-13
18、打开配置文件
命令：vi /hadoop/Kafka/kafka_2.11-2.2.0/config/server.properties
19、退出app-13
命令：exit
设置自动化脚本
20、为了方便启动kafka，我们做了一个脚本启动三台机器的kafka，将启动脚本拷贝到
命令：cp /tmp/Spark-stack/Kafka/sh/* /hadoop/tools/
21、给脚本赋权限
命令：chmod -R a+x /hadoop/tools/*Kafka*
22、在hadoop/config.conf中增加kafka
命令：vi /hadoop/config.conf
export KAFKA_IS_INSTALL=True
23、在启动、停止全部的脚本中加入kafka
命令：vi /hadoop/startAll.sh
#start Kafka
if [ "$KAFKA_IS_INSTALL" = "True" ]; then
cd hadoop/tools && ./startKafka.sh
fi
命令：vi /hadoop/stopAll.sh
#stop Kafka
if [ "$KAFKA_IS_INSTALL" = "True" ]; then
cd /hadoop/tools && ./stopKafka.sh
fi
22、启动kafka
命令：cd /hadoop/tools/、./startKafka.sh
23、使环境变量生效
命令：source ~/.bashrc
24、启动脚本
命令：./startKafka.sh
23、检查是否启动成功
命令：ps -ef|grep kafka
详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰
