beh部署-datanode节点添加

1.添加hosts主机名
vi /etc/hosts
把10.0.180.5的/etc/hosts内容拷贝过来。

2.关闭防火墙
firewall-cmd –state

3.关闭selinux
getenforce
/usr/sbin/sestatus -v

4.新增hadoop用户
useradd hadoop
passwd hadoop

5.时间同步
设置定时
crontab -e
0-59/10 * * * * /usr/sbin/ntpdate 10.0.180.2
执行:/usr/sbin/ntpdate 10.0.180.2
若出现以下情况:
这里写图片描述
则:
执行 lsof -i:123,kill 掉ntp进程

6.配置免密:
安装ssh-copy-id工具
yum install openssh-clients –y
hadoop用户执行:
/hadoop/.ssh 目录下 生成秘钥:ssh-keygen -t rsa
将公钥拷贝给自己,实现自己到自己的免登陆:cp id_rsa.pub authorized_keys
查看是否能免登陆:ssh 自己IP或者IP的映射名称
自己免登陆到其它计算机:ssh-copy-id 10.0.180.5 或者 ssh-copy-id hadoop02
查看是否能免登陆到其他计算机:ssh 10.0.180.5

WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!
vi ~/.ssh/known_hosts 删除对应的ip和hostname记录

7.把另一个datanode主机的beh目录scp过去
mkdir /home/beh
chown hadoop:hadoop beh
29.2操作:
cd /home/beh
scp -r * 10.37.29.2:/home/beh

8.修改slaves
vim $BEH_HOME/core/hadoop/etc/hadoop/slaves 添加新节点hostname
cd $BEH_HOME/core/hadoop/etc/hadoop
scp slaves 10.0.180.7:$BEH_HOME/core/hadoop/etc/hadoop/
scp slaves 10.37.9.130:$BEH_HOME/core/hadoop/etc/hadoop/
scp slaves 10.37.9.131:$BEH_HOME/core/hadoop/etc/hadoop/
scp slaves 10.37.9.132:$BEH_HOME/core/hadoop/etc/hadoop/

9.配置环境变量
vi ~/.bashrc
添加:source /home/beh/conf/beh_env
source ~/.bashrc

10.新建文件夹(私,未必要)
mkdir /var/run/hdfs-sockets
cd /var/run/hdfs-sockets
vi dn
cd ..
chown -R hadoop:hadoop hdfs-sockets
cd /var/run/hdfs-sockets
chmod 666 dn

chown -R hadoop:hadoop /data01-12

11.启动datanode服务
cd $HADOOP_HOME
sbin/hadoop-daemons.sh start datanode
sbin/hadoop-daemon.sh start namenode
180.5上刷新节点
cd /home/beh/core/hadoop/bin
./hdfs dfsadmin -refreshNodes
180.5上均衡数据
cd /home/beh/core/hadoop/
sbin/start-balancer.sh
返回当前datanode

12.启动Nodemanager
cd /home/beh/core/hadoop/sbin
./yarn-daemon.sh start nodemanager

13.启动manager,agent服务。
进入/home/beh/core/beh-manager/bin执行命令
./start-agent.sh
启动后使用ps -ef|grep Agent 命令,查看agent进程是否存在,agent进程入下图所示。

猜你喜欢

转载自blog.csdn.net/weixin_41350766/article/details/79373093
今日推荐