一、Scala安装（2.12.6）
在spark1上:
1、下载解压重命名
2、配置Scala环境变量：
export SCALA_HOME=/usr/local/bigdata/scala
export PATH=$PATH:$SCALA_HOME/bin
3、验证Scala
root@spark1:/usr/local/bigdata/zk/conf# scala -version Scala code runner version 2.12.6 -- Copyright 2002-2018, LAMP/EPFL and Lightbend, Inc.
4、拷贝到spark2 和spark3上
$ cd /usr/local/bigdata root@spark1:/usr/local/bigdata# scp -r scala root@spark2://usr/local/bigdata/ root@spark1:/usr/local/bigdata# scp -r scala root@spark3://usr/local/bigdata/
5、同理配置spark2和spark3环境变量
二、kafka（kafka_2.9.2-0.8.1）
在spark1上：
1、kafka下载解压重命名
扫描二维码关注公众号，回复：
2728342 查看本文章
2、修改server.properties
$ cd /usr/local/bigdata/kafka $ cd ./config $ vim server.properties
按顺序添加zookeeper的三台主机名
zookeeper.connect=192.168.43.124:2181,192.168.43.123:2181,192.168.43.125:2181
3、进入bin目录下
$ vim kafka-run-class.sh
找到
KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
去掉
-XX:+UseCompressedOops
4、slf4j-1.7.6
下载：链接：https://pan.baidu.com/s/1UQ728d7YOdRssrgYEUArUA 密码：h7bu
解压，将slf4j-nop-1.7.6.jar复制到 kafka 的libs 目录下
5、将kafka拷贝到spark2和spark3上
root@spark1:/usr/local/bigdata# scp -r kafka root@spark2://usr/local/bigdata/ root@spark1:/usr/local/bigdata# scp -r kafka root@spark3://usr/local/bigdata/
修改spark2上的kafka 的server.properties文件，将broker.id值改为1
broker.id=1
修改spark3上的kafka 的server.properties文件，将broker.id值改为2
broker.id=2
三、启动kafka，三台机器均需要启动
$ cd kafka #进入kafka安装目录下 $ ./bin/kafka-server-start.sh –daemon config/server.properties &
启动成功
root@spark1:~# jps 2465 Jps 2435 NodeManager 2307 ResourceManager 1955 DataNode 1829 NameNode 1605 Kafka 2154 SecondaryNameNode 1519 QuorumPeerMain
如果启动出现卡住不动可能是内存不够，解决：
将 kafka-server-start.sh的 export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" 修改为 export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"