搭建完全分布式
1.安装jdk
2.安装hadoop
3.配置环境变量
4.设置无密登录
5.设置hadoop配置文件
6.克隆三个虚拟机
右键—>管理—>克隆---->创建完整克隆—>设置虚拟机路径
7. 关闭防火墙
$>chkconfig iptables --list
8. 修改静态IP+修改主机名
查看IP、网关、子网掩码
8.修改静态IP+修改主机名
1.查看IP、网关、子网掩码
2.查看MAC地址是否与eth0匹配
$>cd /etc/udev/rules.d/
$>gedit 70-persistent-net.rules
SUBSYSTEM==“net”, ACTION==“add”, DRIVERS=="?", ATTR{address}“00:0c:29:6a:af:f2”, ATTR{type}“1”, KERNEL=="eth", NAME=“eth0”
eth0对应的MAC地址为：“00:0c:29:6a:af:f2”
3.修改【/etc/sysconfig/network-scripts/ifcfg-eth0】
$>su root
$>gedit /etc/sysconfig/network-scripts/ifcfg-eth0
修改：
BOOTPROTO=“static” #原值为DHCP
HWADDR=“00:0c:29:6a:af:f2”
添加：
IPADDR=“192.168.14.40” #静态IP
NETMASK=“255.255.255.0” #子网掩码
NETWORK=“192.168.14.0” #子网
GATEWAY=“192.168.14.2” #网关
DNS1=“192.168.14.2” #网关
4.重启
$>reboot
5.验证：
$>ping 192.168.14.39
6.修改机器名
$>vi /etc/sysconfig/network
修改：HOMENAME=slave01
$>vi /etc/hosts
追加：
192.168.14.40 slave01
192.168.14.41 slave02
192.168.14.42 slave03
KaTeX parse error: Expected 'EOF', got '#' at position 108: …名@机器名://路径 #̲如果拷贝为目录，则-r； …{hadoop.tmp.dir}/dfs/name
dfs.datanode.data.dir=file://${hadoop.tmp.dir}/dfs/data
[yarn-site.xml]
yarn.nodemanager.aux-services=mapreduce_shuffle
[mapred-site.xml]
mapreduce.framework.name=yarn
[slaves]
每行添加机器名，作为datanode节点开启的配置文件
slave01
slave02
slave03
注意:所有配置文件修改完成后，需远程拷贝
$>scp -r ~/soft/hadoop/etc/full_hadoop/ hadoop@slave01:~/soft/hadoop/etc/
$>scp -r ~/soft/hadoop/etc/full_hadoop/ hadoop@slave02:~/soft/hadoop/etc/
$>scp -r ~/soft/hadoop/etc/full_hadoop/ hadoop@slave03:~/soft/hadoop/etc/
修改默认配置文件软链接，所有节点上操作以下指令：
$>cd $HADOOP_HOME/etc
$>rm -r hadoop
$>ln -s full_hadoop/ hadoop
10.格式化
$>rm -r /home/hadoop/tmp/hadoop-hadoop
$>hdfs namenode -format #在master节点上执行
11.测试
$>start-dfs.sh #在master节点上执行
KaTeX parse error: Expected 'EOF', got '#' at position 25: …rn.sh #̲在master节点上执行 …> jps
4933 SecondaryNameNode
5095 ResourceManager
4700 NameNode
5166 Jps
slave01
> jps
3752 DataNode
3866 NodeManager
3963 Jps
！！！块大小的设置受影响的因素：磁盘存储设备（固态/机械）、网络带宽、业务数据的规模
合理设置块大小，可以减少namenode的压力
hadoop瓶颈是存储
namenode的瓶颈是内存
namenode是一个守护进程
namenode默认堆内存1000M
与namenode有关的看块的个数