所有资料均在百度云:(除了centos6.5的,因为4G左右,需要会员才能上传到百度云)
链接:https://pan.baidu.com/s/1B2rckRf5e2YIokE-kJyWug
提取码:ae9t
vmware11安装centos6-minimal
参考文档——vmware11安装centos6-minimal
主要就是两步:
1新建虚拟机 2挂载镜像
难点:
1里面:需要跳过磁盘检测
2里面注意自定义分区(我这次是选择的replace existing linux system(s))
某些常识了解一下:
VMnet0:这是VMware用于虚拟桥接网络下的虚拟交换机;
VMnet1:这是VMware用于虚拟Host-Only网络下的虚拟交换机;
VMnet8:这是VMware用于虚拟NAT网络下的虚拟交换机;
VMware Network Adapter VMnet1:这是Host用于与Host-Only虚拟网络进行通信的虚拟网卡;
VMware Network Adapter VMnet8:这是Host用于与NAT虚拟网络进行通信的虚拟网卡;
常用vim 复制/剪切/粘贴/撤销操作:
https://blog.csdn.net/feng98ren/article/details/80509607 (转载)
HDFS集群搭建--服务器--网络配置准备
1网卡配置 只需要对被克隆对象
2ip配置——如下命令
配置之前的图片
配置之后
这里我们可以不用一个一个区设置,因为除了Node1,其余节点都被自动分配了IP,如下设置
Node1:192.168.59.138
Node2:192.168.59.139
Node3:192.168.59.140
Node4:192.168.59.141
3主机名设置
配置之前
配之后
4重启使得配置生效
Service network restart
如果上面不行就
reboot
域名配置的目的就是解决的问题:Windows能通过别名Ping通虚拟机
JDK安装和基础环境配置--环境变量--域名映射
连接工具secureCRT :注意主机名与用户名不要搞错了
如下是正确的
参考(二)JDK安装和基础环境配置--环境变量--域名映射 这篇博客
域名配置的目的:虚拟机之间能用别名Ping通
HDFS集群部署启动
参考 (三)HDFS集群部署启动 这篇博客
中途遇见的一些问题:
1You have mail in /var/spool/mail/root
输入下面这行代码就行了
echo "unset MAILCHECK">> /etc/profile
2 Permission denied,始终无法打开节点
换了一个与原视频一样的hadoop安装包就行了
3后面重新一次性装了一次,先打开namenode,然后打开datanode,发现namenode运行不了了
然后我打开datanode日志,并没有发现什么原因
于是我打开namenode日志
并向上拉
我发现是低级套接字异常,然后打开上面画红线的官方文档:
https://wiki.apache.org/hadoop/SocketException
发现例子中有3中:主机已关闭、连接重置、没有权限
我认为自己属于第一种情况,可是又没有给我目标主机端口,所以我都不晓得怎样解决了
官方文档如下:
并且我在网上找到类似问题的日志都有明显的阐述,比如说是哪里出现问题,会给明显主机端口地址
小技巧:学会分析日志查找问题
eg 比如当我装好之后,用jps查看,发现打开的namedone始终查找不到
我就打开我的日志
报错原因
分析:就是说在hdfs-site.xml这配置里面第一行20列,版本2.0不支持,版本1.0才支持
我们找到这个文档打开,并改成version="1.0"
最终结果如下: