基于centos7部署hadoop集群的准备环境部署

由于工作需要,需要搭建hadoop+zookeeper+hbase+storm+kafka集群
准备了三台服务器(一台8核+32G内存+300G硬盘充当master,一台8核+16G内存+300G硬盘充当slave01,一台8+16G+500G硬盘充当slave02,并且都能上网),具体如下:
Master 根据情况定义 Hadoop、zookeeper、hbase、storm、kafka、
Slave01 根据情况定义 Hadoop、zookeeper、hbase、opentsdb、storm、kafka
Slave02 根据情况定义 Hadoop、zookeeper、hbase、opentsdb、storm、kafka
以下用来作为学习笔记。
一、安装前准备工作。【三台机器需要准备环境】
(1)修改主机名。
使用命令:hostnamectl set-hostname master 【在master主机上执行】
hostnamectl set-hostname slave01 【在slave01主机上执行】
hostnamectl set-hostname slave02 【在slave02主机上执行】
执行完命令后查看,如下图:
基于centos7部署hadoop集群的准备环境部署
(2)配置免密钥登录
ssh-keygen #一路回车即可
ssh-copy-id master
ssh-copy-id slave01
ssh-copy-id slave02
验证是否正确,如下图:
基于centos7部署hadoop集群的准备环境部署
(3)配置hosts文件
vim /etc/hosts
基于centos7部署hadoop集群的准备环境部署
(4)安装jdk1.8
①下载安装包
wget http://s***.hc-yun.com:10081/down/jdk-8u171-linux-x64.tar.gz
②解压到目录 (目录随意)
tar zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local
③添加jdk环境变量
vim /etc/profile.d/java.sh
基于centos7部署hadoop集群的准备环境部署
验证是否安装jdk成功,如下图:
基于centos7部署hadoop集群的准备环境部署
(5)关闭防火墙和selinux
setenforce 0
sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
rm -rf /etc/localtime && ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
systemctl stop firewalld
systemctl disable firewalld
基于centos7部署hadoop集群的准备环境部署
(6)修改环境变量
echo " soft nofile 65535" >> /etc/security/limits.conf
echo "
hard nofile 65535" >> /etc/security/limits.conf
echo " soft nproc 65535" >> /etc/security/limits.conf
echo "
hard nproc 65535" >> /etc/security/limits.conf
echo " soft memlock unlimited" >> /etc/security/limits.conf
echo "
hard memlock unlimited" >> /etc/security/limits.conf
基于centos7部署hadoop集群的准备环境部署
(7)创建统一文件夹,后期把程序都放到该文件夹下 【根据磁盘状况】
mkdir -p /home/hadoop
添加各个服务变量
cat <<EOF > /root/.bashrc

.bashrc

alias rm='rm -i'
alias cp='cp -i'
alias mv='mv -i'
export JAVA_HOME=/usr/java/jdk1.8.0_171
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/hadoop/hadoop-2.8.4
export PATH=$PATH:$HADOOP_HOME/bin
export HBASE_HOME=/home/hadoop/hbase-1.2.6
export PATH=$PATH:$HBASE_HOME/bin
export ZOOKEEPER_HOME=/home/hadoop/zookeeper-3.4.12
export PATH=$ZOOKEEPER_HOME/bin:$PATH
export STORM_HOME=/home/hadoop/apache-storm-1.2.2
export PATH=$PATH:$STORM_HOME/bin
export KAFKA_HOME=/home/hadoop/kafka_2.12-1.1.0
export PATH=$PATH:$KAFKA_HOME/bin
if [ -f /etc/bashrc ]; then
. /etc/bashrc
fi
EOF
如下图:
基于centos7部署hadoop集群的准备环境部署

基础环境已经布置完成,后续......

猜你喜欢

转载自blog.51cto.com/19940919/2174218