工具：
VMware
Centos7
Xshell
Centos7下创建文件夹 移动文件/文件夹 删除文件/文件夹 解压/文件夹打包压缩 命令整理：
一、创建文件夹：
1、创建本目录下文件夹
mkdir dir
2、创建其他目录下文件夹
mkdir dir/file
3、创建多级目录文件夹
mkdir -p tmp/dir
4、创建file.txt文件
mkdir dir/file.txt
二、修改文件夹名：
1、文件夹重命名
mv dir dir1
2、文件重命名
mv dir/file.txt dir/files.
三、查看文件夹/文件：
1、cd dir
2、cd dir/dir1
3、回到主目录
cd ~
4、查看目录下内容
ll （或者ls）
5、返回上一级
cd …
四、删除文件夹/文件
1、删除本目录下文件夹及文件
rm -rf dir1 （强制删除，不提示）
2、强制删除文件，不提示
rm -f file
3、递归删除其文件和文件夹
rm -r dir
=完全分布式搭建==============
一.配置静态网络：-----------------------------------------------
1.查看VMware的网络编辑器：
查看NAT设置：子网IP、子网掩码、网关IP
2.手动设置-IPv4-手动
地址：192.168.10.10（与VMware的子网IP要互通）
子网掩码：255.255.255.0
网关：192.168.10.2
服务器：192.168.10.2
3.重启打开网络。
4.检查ping
5.完成。
master:192.168.10.10
hadoop001:192.168.10.20
hadoop002:192.168.10.30
二.修改主机信息：------------------------------------------------
1.vim /etc/hostname
master
2.vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
3.vim /etc/hosts
192.168.10.10 master
192.168.10.20 hadoop001
192.168.10.30 hadoop002
三.关闭防火墙：--------------------------------------------------
1.查看防火墙状态
systemctl status firewalld.service
2.关闭防火墙
systemctl stop firewalld.service
3.永久关闭防火墙
systemctl disable firewalld.service
四.ssh设置：----------------------------------------------------
1.集群之间的机器需要相互通信，我们需要先配置免密码登录。 ssh-keygen -t rsa #enter键一直敲到底
2.拷贝生成的公钥到另外两台虚拟机
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop001
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop002
3.另外两台虚拟机（hadoop001，hadoop002）也需要执行上述步骤
4.测试配置是否成功
ssh master
ssh hadoop001
ssh hadoop002
五.安装配置Java：-----------------------------------------------
1.新建文件夹
mkdir /usr/java
2.将jdk.tar.gz文件传到java文件夹里
3.进行解压：
tar -zxvf jdk-8u231-linux-x64.tar.gz
4.重命名：
mv jdk1.8.0_231 jdk1.8
5.配置环境变量：
vim /etc/profile
#添加如下内容
export JAVA_HOME=/usr/java/jdk1.8
export JRE_HOME=/usr/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=.:${JAVA_HOME}/bin:$PATH
6.使用source命令生效
source /etc/profile
7.查看Java环境变量配置是否成功
java -version
8.其他两台虚拟机可以按照上述方式安装，也可以使用快捷方式,通过以下命令同步这两台虚拟机
(注意：字节要先创建java文件夹)
rsync -av /usr/java/jdk1.8 hadoop001:/usr/java/
rsync -av /usr/java/jdk1.8 hadoop002:/usr/java
rsync -av /etc/profile hadoop001:/etc/profile
rsync -av /etc/profile hadoop002:/etc/profile
然后分别在另外两台虚拟机上执行source命令，使配置文件生效
source /etc/profile
六.hadoop安装配置：---------------------------------------------（重点！！！！！！！！！！！！！！！！！！！）
1.解压hadoop安装包
tar -zxvf /opt/hadoop-2.6.0.tar.gz
2.重命名
mv hadoop-2.6.0 hadoop2.6
3.配置环境变量
vim /etc/profile
#添加如下内容
export HADOOP_HOME=/usr/hadoop/hadoop2.6/hadoop2.6
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
4.使用sorece命令生效
source /etc/profile
5.version下是否配置成功环境
hadoop version
6.进入/usr/hadoop/hadoop2.6/etc/hadoop/（重点！！！！！！！！！！！！！！！！！！！）
---配置两个.sh文件（hadoop-env.sh 和yarn-env.sh）---
(1).配置hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8/
(2).配置yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.8/
---配置四个.xml文件---
-(1)core-site.xml hadoop核心配置文件-
<property>
<name>fs.deafult.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hadoop2.6/tmp</value>
</property>
-(2)hdfs-site.xml HDFS相关配置文件-
<property>
<name>dfs.replication</name>
<value>2</value>(因为有两个从节点，所以值为2）
</property>
dfs.name.dir
/simple/hadoop-2.8.0/hdfs/name
dfs.data.dir
/simple/hadoop-2.8.0/hdfs/data
-(3)mapred-site.xml mapreduce相关配置文件（目录下默认没有该文件，需要先执行命令mv mapred-site.xml.template mapred-site.xml ）-
<property>
mapreduce.framework.name
yarn
指定mapreduce使用yarn框架
-(4) yarn-site.xml YARN框架配置文件-
<property>
yarn.resourcemanager.hostname
master
指定resourcemanager所在的hostname
yarn.nodemanager.aux-services
mapreduce_shuffle
NodeManager上运行的附属服务。配置成mapreduce_shuffle，才可运行MapReduce程序
-(5)配置从节点的主机名，前面配置host的时候已经ip和hostname做了映射就可以使用hostname，如果没有就需要写对应的ip-
vi etc/hadoop/slaves
master
hadoop001
hadoop002
7.同理我们也可以通过命令去同步另外两台虚拟机，减少安装hadoop时间(需要自己先创建hadoop文件夹)
rsync -av /usr/hadoop/hadoop2.6/ hadoop002:/usr/hadoop/
rsync -av /usr/hadoop/hadoop2.6/ hadoop003:/usr/hadoop/
rsync -av /etc/profile hadoop001:/etc/profile
rsync -av /etc/profile hadoop002:/etc/profile
然后分别在两台虚拟机上执行source命令
8.启动hdfs，首次启动需格式化hdfs，后面可以选择性格式化
hdfs namenode -format
9.开启集群(/usr/hadoop/hadoop2.6/sbin)
start-all.sh
stop-all.sh
10.执行jps查看执行情况
(1).主节点
45536 DataNode
45858 ResourceManager
45403 NameNode
45707 SecondaryNameNode
46173 Jps
45998 NodeManager
(2).从节点
6282 Jps
5964 DataNode
6078 NodeManager
11.控制台的一些情况
(1).查看hdfs运行情况
192.168.10.10:50070
(2).查看 YARN运行情况
192.168.10.10:8088
出现问题的情况：
(1).Hadoop启动之后jps没有NameNode节点
1、先运行stop-all.sh
2、删除原目录，即core-site.xml下配置的<name>hadoop.tmp.dir</name>所指向的目录，重新建立配置的空目录 格式化namdenode，hadoop namenode -format
3、运行start-all.sh
参考搭建资源：
(1).https://github.com/heibaiying/BigData-Notes
(2).https://blog.csdn.net/xiaoxsen/article/details/80462271
(3).https://blog.csdn.net/qq_38358709/article/details/84347158
====================================================================================================
