阿里云主机搭建Hadoop伪分布,支持windows上上传文件

问题产生

1.我是使用阿里云的公网ip搭建,NameNode搭建不起来
2.查看logs中的namenode日志,日志上让我去confluence中查看
3.个人感觉是下图红色标注的问题
在这里插入图片描述
4.总结就是说,云服务器Hadoop伪分布式就别用公网ip了。

使用内网ip搭建Hadoop伪分布

我省略ssh,hadoop包的下载解压。

1.修改hosts 文件

将主机名映射到 内网ip
在这里插入图片描述

2.修改Hadoop的core-site.xml

在这里插入图片描述

3.修改Hadoop的hdfs-site.xml

在这里插入图片描述

4.修改slaves

在这里插入图片描述

5.格式化namenode并启动hdfs即可

hdfs namenode -format
start-dfs.sh

6.来到你的windows,(阿里控制台中把50070,50075,50010开放)

在这里插入图片描述
1.发现Datanodes中的node和http中的地址都有主机名 gaoxi
2.此时我们尝试上传。走
在这里插入图片描述
3.结果就是上传不上去,咱们打开network
在这里插入图片描述
访问的是 gaoxi 这个地址
所以

7.在自己的windows下配置hosts,云主机公网ip:gaoxi(主机名)

在这里插入图片描述

1.再走一个
在这里插入图片描述

发布了38 篇原创文章 · 获赞 2 · 访问量 6751

猜你喜欢

转载自blog.csdn.net/Gao__xi/article/details/103964955