(四)一次性搭建好HDFS集群

所有资料均在百度云:(除了centos6.5的,因为4G左右,需要会员才能上传到百度云)

链接:https://pan.baidu.com/s/1B2rckRf5e2YIokE-kJyWug 
提取码:ae9t 

vmware11安装centos6-minimal

参考文档——vmware11安装centos6-minimal

主要就是两步:

1新建虚拟机                                2挂载镜像

难点:

1里面:需要跳过磁盘检测

2里面注意自定义分区(我这次是选择的replace existing linux system(s))

某些常识了解一下:

VMnet0:这是VMware用于虚拟桥接网络下的虚拟交换机;
VMnet1:这是VMware用于虚拟Host-Only网络下的虚拟交换机;
VMnet8:这是VMware用于虚拟NAT网络下的虚拟交换机;
VMware Network Adapter VMnet1:这是Host用于与Host-Only虚拟网络进行通信的虚拟网卡;
VMware Network Adapter VMnet8:这是Host用于与NAT虚拟网络进行通信的虚拟网卡;

常用vim 复制/剪切/粘贴/撤销操作:

https://blog.csdn.net/feng98ren/article/details/80509607 (转载)

HDFS集群搭建--服务器--网络配置准备

1网卡配置 只需要对被克隆对象

2ip配置——如下命令

配置之前的图片

配置之后

这里我们可以不用一个一个区设置,因为除了Node1,其余节点都被自动分配了IP,如下设置

扫描二维码关注公众号,回复: 5274490 查看本文章
Node1:192.168.59.138
Node2:192.168.59.139
Node3:192.168.59.140
Node4:192.168.59.141

3主机名设置

配置之前

配之后

4重启使得配置生效

Service network restart

如果上面不行就

reboot

域名配置的目的就是解决的问题:Windows能通过别名Ping通虚拟机

JDK安装和基础环境配置--环境变量--域名映射

连接工具secureCRT :注意主机名与用户名不要搞错了

如下是正确的

参考(二)JDK安装和基础环境配置--环境变量--域名映射 这篇博客

域名配置的目的:虚拟机之间能用别名Ping通

HDFS集群部署启动

参考 (三)HDFS集群部署启动 这篇博客

中途遇见的一些问题:

1You have mail in /var/spool/mail/root

输入下面这行代码就行了

echo "unset MAILCHECK">> /etc/profile

2 Permission denied,始终无法打开节点

换了一个与原视频一样的hadoop安装包就行了

3后面重新一次性装了一次,先打开namenode,然后打开datanode,发现namenode运行不了了

 然后我打开datanode日志,并没有发现什么原因

于是我打开namenode日志

 

并向上拉

 

我发现是低级套接字异常,然后打开上面画红线的官方文档:

https://wiki.apache.org/hadoop/SocketException

发现例子中有3中:主机已关闭、连接重置、没有权限

我认为自己属于第一种情况,可是又没有给我目标主机端口,所以我都不晓得怎样解决了

官方文档如下:

 

并且我在网上找到类似问题的日志都有明显的阐述,比如说是哪里出现问题,会给明显主机端口地址

小技巧:学会分析日志查找问题

eg 比如当我装好之后,用jps查看,发现打开的namedone始终查找不到

我就打开我的日志

 报错原因

分析:就是说在hdfs-site.xml这配置里面第一行20列,版本2.0不支持,版本1.0才支持

我们找到这个文档打开,并改成version="1.0"

 最终结果如下:

猜你喜欢

转载自blog.csdn.net/qq_42198024/article/details/86693121
今日推荐