在Windows上的虚拟机安装Hadoop伪分布式系统(三)

接上一篇文章
在上一篇文章中遗漏了一个core-site的配置文件
在这里插入图片描述
这个是改默认的名字为自己需要的,其效果在如下:
在这里插入图片描述

好了接下来 说接着上一篇文章写:

开始 启动jobhistory
命令: sbin/mr-jobhistory-daemon.sh start historyserver
在这里插入图片描述
运行mapreduce
创建一个输出目录
命令:bin/hdfs dfs -mkdir -p /user/yayun/data/output/
在这里插入图片描述
开始运行
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/yayun/data/wc.input /user/yayun/data/output/1

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

网页端查看

在这里插入图片描述

4.9.2 结果查看:
bin/hdfs dfs -text /user/yayun/data/output/1/par*
在这里插入图片描述

SSH无密码登录
在主节点生成密钥
确保在生成公钥和密钥之前ssh目录下无任何文件,如果有则清理。
在这里插入图片描述
生成密钥的命令:ssh-keygen -t rsa

在这里插入图片描述
将密钥分发到3台机器上,因为机器1上也有datanode

ssh-copy-id bigdata01
ssh-copy-id bigdata02
ssh-copy-id bigdata03

在这里插入图片描述

测试
命令:ssh bigdata02
在这里插入图片描述

停掉使用的yarn 的命令:sbin/stop-yarn,sh
停掉使用的hdfs 的命令:sbin/stop-all.sh
开启使用的hdfs 的命令:sbin/start-all.sh

至此一个 Hadoop 伪分布式集群就正式创建。
至于其他生态圈的工具安装 后面会更新中,在这个过程中我遇到很多的问题,很感谢csdn上的大佬,让我有优质的资料可查,并且一步步解决问题。并且成功。

发布了25 篇原创文章 · 获赞 8 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/for_yayun/article/details/105664006