vmware15安装完全分布式hadoop集群
安装环境
1、VMware15
2、centerOS 7
3、Hadoop-2.7.4
4、Xshell6
5、Windows10
6、FileZilla
7、Java8
目录
一、创建空白虚拟机
1.1 创建新的虚拟机
1.2 自定义创建虚拟机
1.3 选择虚拟机的硬件兼容性
1.4 选择稍后安装操作系统
1.5 选择系统类型
1.6 输入虚拟机名字
1.7 选择虚拟机配置
1.8 选择虚拟机网络配置
1.9 选择I/O控制器类型
1.10 选择虚拟机磁盘类型
1.11 选择虚拟机存储参数
二、装载ISO文件安装系统
2.1 装载系统
2.2 安装系统
2.2.1 开启虚拟机
2.2.2 install centeros 7
2.2.3 选择系统语言为English
2.2.4 选择时区
2.2.5 选择安装源为本地安装
2.2.6 选择安装模式为最小安装
2.2.7 选择安装目标
2.2.8 选择网络
2.3 输入root密码
这个密码由你开心随便设定，只要你记得住就行
2. ！！！特别提示！！！
用户可创建可不创建，个人建议创建，保证你的机子安全，本机因为只有我个人使用所有并不创建新的用户
2.4 耐心等待安装完成并重启
三、登陆（使用你创建的用户密码）
四、创建文件夹以便后续操作
mkdir -p /software/download
mkdir -p /software/data
mkdir -p /software/tool
五、克隆虚拟机
5.1 关闭虚拟机
shutdown
5.2 克隆虚拟机
5.2.1 下一步
5.2.2 选择虚拟机中的当前状态并下一步
5.2.3 创建完整克隆并下一步
5.2.4 选择克隆机位置
5.2.5 等待完成
5.2.6 克隆Hadoop03步骤如上
5.2. 结果
六、配置网络
6.1 开启Windows的VMware网络进程
这五个进程在进行网络配置前需要确保都是开启状态的
6.2 配置虚拟网络编辑器的NAT模式参数
6.3 修改参数
6.3.1修改NAT参数
6.3.2 修改DHCP参数
6.4 配置Windows网络
6.5 修改hostname
6.5.0 使用xshell连接虚拟机
#查看主机名
hostname
#修改主机名
hostnamectl set-hostname hadoop01
hostnamectl set-hostname hadoop02
hostnamectl set-hostname hadoop03
6.6 修改mac地址
VMware克隆虚拟机后修改UUID、MAC地址、IP和主机名
一般来说不需要配置，如遇问题可参照这个文档处理
6.6.1 修改UUID
uuidgen
#会有一段id，可以复制其id
vi /etc/sysconfig/network-scripts/ifcfg-ens33
#修改UUID为复制的ID，只需要修改Hadoop02和Hadoop03
6.6.2 修改IP
centos7永久修改ip地址
主要修改的参数为：
#需要修改的参数
BOOTPROTO="static"
#你的主机IP
IPADDR="192.168.121.128"
#你的网关IP
GATEWAY="192.168.121.2"
#你的子网掩码
NETMASK="255.255.255.0"
#你的DNS服务器地址
DNS1="114.114.114.114"
DNS2="8.8.8.8"
！！！需要修改3个主机的
！修改完后：
service network restart
6.6.3 配置IP映射
vi /etc/hosts
按键盘install，输入以下内容：
“IP1” Hadoop01
“IP2” Hadoop02
“IP3” Hadoop03
按ESC+：wq退出文件并保存
6.6.4 配置免密登陆
6.6.4.1 生出各自的公、私钥
ssh-keygen -t rsa
Hadoop01、Hadoop02、Hadoop03都执行一次该命令
6.6.4.2 将Hadoop02、03的公私钥传送给Hadoop01
ssh-copy-id hadoop01
Hadoop01、Hadoop02、Hadoop03都执行一次该命令，每次都是输入Hadoop01的密码
6.6.4.3 将Hadoop01汇总后的公私钥分发给Hadoop02、03
scp /root/.ssh/authorized_keys hadoop02:/root/.ssh
scp /root/.ssh/authorized_keys hadoop03:/root/.ssh
此处输入的密码均为Hadoop02、03的密码
6.6.4.4 检查是否实现免密登陆
ssh hadoop02
ssh hadoop03
如果不需要密码即可登陆则说明配置成功
七、安装jdk
7.1 使用FileZilla连接你的虚拟机
7.2 上传文件
7.3 解压文件
tar -zxvf jdk-8u161-linux-x64.tar.gz
7.4 将解压后的文件转移到你的软件存放路径并改名为你熟悉的名字
mv jdk1.8.0_161 /software/tool/jdk
7.5 配置profile文件
vi /etc/profile
在文件的最末尾按install输入：
export JAVA_HOME=/software/tool/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
按ESC+：wq结束配置文件输入
7.6 应用配置文件
source /etc/profile
7.7 验证
java -version
成功的结果图：
八、安装hadoop
8.1 解压压缩包
tar -zxvf hadoop-2.7.4.tar.gz
8.2 将解压出来的文件转移到你的软件存放文件夹并更名为熟悉的名字
mv hadoop-2.7.4 /software/tool/hadoop
8.3 配置PATH
vi /etc/profile
在文件的最尾部按install输入
export HADOOP_HOME=/software/tool/hadoop
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
按ESC+：wq结束配置文件输入
source /etc/profile
8.4 验证
hadoop version
配置成功的结果图：
九、Hadoop环境配置
9.1 配置Hadoop主节点数据
进入Hadoop的配置文件存放文件夹
cd /software/tool/hadoop/etc/hadoop
9.1.1 配置hadoop-env.sh
vi hadoop-env.sh
在文件中间会发现如图的代码段
将JAVA_HOME后面的路径改成你的java路径
export JAVA_HOME=/software/tool/jdk
ESC+：wq退出配置文件编写
9.1.2 配置 core-site.xml 文件
vi core-site.xml
进入后会看到如图
在<configuration></configuration>间输入以下代码：
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/software/tool/hadoop/tmp</value>
</property>
ESC+：wq退出配置文件编写
9.1.3 配置hdfs-site.xml文件
vi hdfs-site.xml
进去后的界面为：
在<configuration></configuration>间输入以下内容：
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.httpaddress</name>
<value>hadoop02:50090</value>
</property>
按ESC+：wq结束配置文件编写
9.1.4 配置mapred-site.xml 文件
9.1.4.1 改名
mv mapred-site.xml.template mapred-site.xml
9.1.4.2 进入配置文件
vi mapred-site.xml
9.1.4.3 输入参数
进入后的结果如图：
在<configuration></configuration>间输入以下内容：
<!-- 指定MapReduce 运行时框架，这里指定在Yarn 上，默认是 local -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
ESC+：wq退出配置文件编写
9.1.5 配置 yarn-site.xml 文件
vi yarn-site.xml
打开后界面应该是：
在<configuration></configuration>间输入以下内容：
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
按ESC+：wq结束配置文件编写
9.1.6 配置slaves文件
vi slaves
进去后的样子为：
改为：
按install输入，并退格删除localhost，输入以下内容：
hadoop01
hadoop02
hadoop03
按ESC+：wq结束配置文件编写
9.2 将Hadoop01的文件与Hadoop02、03文件同步
scp /etc/profile hadoop02:/etc/profile
scp /etc/profile hadoop03:/etc/profile
scp -r /software/ hadoop02:/
scp -r /software/ hadoop03:/
9.3 配置文件应用
在hadoop02上：
source /etc/profile
在hadoop03上：
source /etc/profile
十、验证
10.1 格式化namenode
hdfs namenode -format
10.2 启动hadoop集群
start-all.sh
10.3 验证
hadoop01：
jps
hadoop02：
jps
hadoop03：
jps
10.4 查看UI界面（进不去关闭防火墙）
在Windows的浏览器中输入你的namenode的IP地址加：50070就可看到hdfs的界面
http://192.168.121.128:50070/
结果图：
http://192.168.121.128:8088/
结果图：
