2.__hadoop环境搭建相关

1. hadoop环境搭建

1.1hadoop3.x环境搭建

1.2 hadoop2.x环境搭建

根据比赛的要求给出的属性进行环境搭建

2. 有关基础命令全部整合

2.1 hdfs相关基础命令

格式化: hadoop namenode -format
离开安全模式:hadoop dfsadmin -safemode leave
展示数据:hadoop fs -ls 目录
上传文件:hadoop fs -put 本地目录 hdfs目录
创建文件夹:hadoop fs -mkdir hdfs目录
重命名文件夹:hadoop fs -mv 原地址名修改后地址名
删除文件:hadoop fs -rm 文件目录
删除文件夹:hadoop fs -rm -r 文件目录

2.2 linux常用基础命令及目录路径

命令:
开启/关闭防火墙:systemctl start firewalld
开启mysql服务:systemctl start mysqld
重启网络服务:systemctl restart network
重启ntpd服务:systemctl restart ntpd
选择时区:tzselect
同步时间:ntpdate 时间源主机名
环境配置重新生效: source /etc/profile
ssh生成公钥私钥(rsa ):ssh-keygen -t rsa
ssh免密拷贝:ssh-copy-id 目标主机
拷贝:scp -r 原文件地址用户@ip地址:文件存放地址
解压:tar -zxvf 源文件 -C 解压到
解压: yum -ivh 文件
修改主机名:hostnamectl set-hostname 主机名
立即生效:bash
yum清理缓存:yum clean all
yum重新启动: yum makecache

路径:
网络:/etc/sysconfig/network-scripts/ifcfg-ens33
ssh:根目录/.ssh
yum源:/etc/yum.repos.d/
地址映射:/etc/hosts
主机名: /etc/hostname

3. hadoop动态添加/删除节点(hadoop2.x版本的)

3.1 添加节点

先将待添加节点的一切其他配置准备好, ssh, ip映射
修改所有的节点的slaves文件,添加新的
启动新节点的进程

hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager

#主节点刷新
[root@slave-004 hadoop]# hdfs dfsadmin -refreshNodes
#均衡block
[root@slave-004 hadoop]# sbin/start-balancer.sh
#查看存活的节点
hdfs dfsadmin -report

3. 2删除节点

hdfs-site.xml

<!-- 白名单   配置自己创建名单的指定文件 -->
<property>
 <name>dfs.hosts</name>
 <value>/opt/module/hadoop-3.1.3/etc/hadoop/whitelist</value>
</property>
<!-- 黑名单 -->
<property>
 <name>dfs.hosts.exclude</name>
 <value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>
</property>

注意: 配置黑名单地址,将要删除的节点写入文件中

再刷新DataNode和均衡block块

bin/hdfs dfsadmin -refreshNodes # 刷新
sbin/start-balancer.sh #均衡block块