大数据技术_ linux系统 之hadoop 3.1.2版本的安装(续)

接着上一篇环境配置 我们继续下面配置后即可使用hadoop环境

4、关要克隆2台(先把node1关机)

采用完整克隆方式,把node1克隆两次。分别为node2、node3
在这里插入图片描述

4.1、针对克隆机node2

修改主机名
在这里插入图片描述

如图,修改文件
在这里插入图片描述

修改ip与uui
备注:uuid类似人类的身份证,表示唯一的编号。因为我们复制node1,所以,需要把它改成唯一!注意长度与格式不能为
在这里插入图片描述

修改完后,重启一次。

4.2、针对克隆机node3

修改主机名为 node3 命令参考node2
修改ip为192.168.72.13
修改 uui为唯一即可,不要与node1、node2的相同。唯一即可!

5、确保集群电脑 能无密码相互访问

5.1、node1示例(hduser)

ssh-keygen -t rsa
ssh-copy-id node1
第一次会问你是否确认两台主机建立的信任关系,输入yes,再按回车键
第一次会要求你输入一次localhost(指本机)用户的密码
成功后,我们通过ssh node1可登录测试,再exit退出(如果一下就退出到root的登陆界面,ssh-copy-id node1不成功,或ssh-keygen -t rsa不成功)ssh node1的连接

ssh-copy-id node2 即:把node1的凭证传到node2中
第一次会问你是否确认两台主机建立的信任关系,输入yes,再按回车键
第一次会要求你输入一次node2(指另一台虚拟机上的用户hduser)用户的密码
成功后,我们通过ssh node2可登录测试,再exit退出(如果一下就退出到root的登陆界面,ssh-copy-id node2不成功)ssh node2的连接

ssh-copy-id node3 即:把node1的凭证传到node3中
第一次会问你是否确认两台主机建立的信任关系,输入yes,再按回车键
第一次会要求你输入一次node3(指另一台虚拟机上的用户hduser)用户的密码
成功后,我们通过ssh node3可登录测试,再exit退出(如果一下就退出到root的登陆界面,ssh-copy-id node3不成功)ssh node3的连接

5.2、node2示例(hduser)

ssh-keygen -t rsa
ssh-copy-id node2
第一次会问你是否确认两台主机建立的信任关系,输入yes,再按回车键
第一次会要求你输入一次localhost(指本机)用户的密码
成功后,我们通过ssh node2可登录测试,再exit退出(如果一下就退出到root的登陆界面,ssh-copy-id node2不成功,或ssh-keygen -t rsa不成功)ssh localhost的连接

ssh-copy-id node1 即:把node1的凭证传到node1中
第一次会问你是否确认两台主机建立的信任关系,输入yes,再按回车键
第一次会要求你输入一次node1 (指另一台虚拟机上的用户hduser)用户的密码
成功后,我们通过ssh node1可登录测试,再exit退出(如果一下就退出到root的登陆界面,ssh-copy-id node1不成功)ssh node2的连接

ssh-copy-id node3 即:把node1的凭证传到node3中
第一次会问你是否确认两台主机建立的信任关系,输入yes,再按回车键
第一次会要求你输入一次node3(指另一台虚拟机上的用户hduser)用户的密码
成功后,我们通过ssh node3可登录测试,再exit退出(如果一下就退出到root的登陆界面,ssh-copy-id node3不成功)ssh node3的连接

5.3、node3示例(hduser)

ssh-keygen -t rsa
ssh-copy-id node3
第一次会问你是否确认两台主机建立的信任关系,输入yes,再按回车键
第一次会要求你输入一次localhost(指本机)用户的密码
成功后,我们通过ssh node3可登录测试,再exit退出(如果一下就退出到root的登陆界面,ssh-copy-id node3不成功,或ssh-keygen -t rsa不成功)ssh node3的连接

ssh-copy-id node1 即:把node1的凭证传到node1中
第一次会问你是否确认两台主机建立的信任关系,输入yes,再按回车键
第一次会要求你输入一次node1 (指另一台虚拟机上的用户hduser)用户的密码
成功后,我们通过ssh node1可登录测试,再exit退出(如果一下就退出到root的登陆界面,ssh-copy-id node1 不成功)ssh node2的连接

ssh-copy-id node2 即:把node1的凭证传到node3中
第一次会问你是否确认两台主机建立的信任关系,输入yes,再按回车键
第一次会要求你输入一次node2 (指另一台虚拟机上的用户hduser)用户的密码
成功后,我们通过ssh node2可登录测试,再exit退出(如果一下就退出到root的登陆界面,ssh-copy-id node2不成功)ssh node2的连接

6、初始化与启动(hduser)

6.1、进入hadoop 目录: cd ~/hadoop

6.2、初始化(危险,一次就好)

bin/hdfs namenode -format
备注:多次初始化时,会导致主节点与数据节点的版本不一致。
如果不小心多次初始化,需要把数据节点生成的数据全部清空。
再重新初始化

7、启动、停止、报告状态、角色

在目录下( cd ~/hadoop )
启动 sbin/start-all.sh
报告状态 bin/hdfs dfsadmin -report

停止 sbin/stop-all.sh
查询当前电脑扮演的角色:jps

8、测试运行jar程序(【node1】主机,hduser用户)

8.1、准备

在/home/hduser目录下,创建一个文件夹file
再在/home/hduser/file里面放入两个文本(内容随意。最好是一些单词,单词间有空格),分别取名叫file1.txt file2.txt (名字统一却内容不为空,主要方便一会我们练习用)。如:
在这里插入图片描述

8.2、测试

确认我们的hadoop已经运行,无错。
使用终端进入hadoop目录( cd ~/hadoop ):
创建目录:bin/hadoop fs -mkdir /input2
推送文件:bin/hadoop fs -put ~/file/file*.txt /input2/
列出文件:bin/hadoop fs -ls /input2/
执行我们的入门测试:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar wordcount /input2/ /output2/wordcount1
查看程序执行后的结果
bin/hadoop fs -cat /output2/wordcount1/*

备注: 可能出现的问题
问题1、mkdir: 无法创建目录"/home/hduser/hadoop/logs": 权限不够
解决: sudo chown -R hduser /home/hduser/hadoop 所以节点都需要执行
问题2:防火墙是处于关闭状态 hdfs的web界面(50070)都不能打开
解决: hadoop3以后web页面控制台路径改为 http://192.168.240.140:9870/才能正常访问

猜你喜欢

转载自blog.csdn.net/Coder_Boy_/article/details/109459390