hadoop的运行模式

bbf48a5f21c2b1999ba1bd00b528c9e6.jpeg

作者简介:大家好我是小唐同学(๑>؂<๑),好久不见,为梦想而努力的小唐又回来了,让我们一起加油!!!

a56fe417a24fd8e65dc73fb5db10b46e.gif

个人主页:小唐同学(๑>؂<๑)的博客主页

目前再学习大数据,现在在初级阶段-刚学Hadoop,若有错误,请指正

目录

 

hadoop的三种运行模式区别:

完全分布式运行模式步骤:

一,虚拟机准备:

二,编写集群分发脚本xsync

        (1)scp定义:

        (2)基础语法:

(1)按照上述语法进行拷贝jdk

(2)按照上述语法拷贝Hadoop(第二种方法)

(3)拷贝也可以让Hadoop103操作  从Hadoop102中拷贝入Hadoop104

 三,rsync远程同步工具

rsync语法:

ssh免密登录:

免密登录原理:

ssh免密登录实操:


hadoop的三种运行模式区别:

ff4212ee73ff4e1b926e313fa999adf8.png

完全分布式运行模式步骤:

1.准备三台客户机(关闭防火墙,静态IP,主机名)

2.安装jdk

3.配置环境变量

4.安装Hadoop

5.配置环境变量

6.配置集群

7.单点启动

8.配置ssh

9.群起并测试集群

一,虚拟机准备:

详见上章

二,编写集群分发脚本xsync

        (1)scp定义:

scp可以实现服务器与服务器之间的数据拷贝

        (2)基础语法:

scp      -r        $pdir/$fname                                 $user@$host:$pdir/$fname

命令    递归       要拷贝的文件路径/名称              目的地用户@主机:目的地路径/名称

实例演示(Hadoop100,Hadoop102,Hadoop103,Hadoop104已 经准备完全)

将jdk从Hadoop102上 拷贝到Hadoop103,Hadoop104上

将Hadoop从Hadoop102上拷贝到Hadoop103,Hadoop104上

拷贝有两种方法:

(1)把本服务器文件拷贝入其他服务器

(2)把其他服务器文件拷贝入本服务器

(1)按照上述语法进行拷贝jdk

(这是上述的第一种拷贝)

88563408701142a29d7dd4b0002f45c1.png

首次拷贝需要验证

699ec0c30cdd49e6a6efeceed03cdb8e.png

 需要通过Xshell登录到Hadoop103    所以需要输入密码86193cdaf9f94ceca2bfc6cefc0ba05f.png

 拷贝jar包23e5c38dd6284560ad8af17db985cb1b.png

9e8570c72b524d799ca2c8aa92489761.png

 进入Hadoop103   可以进入指定目录查看

2603fbdd42b44cdd969787c5985886fd.png

(2)按照上述语法拷贝Hadoop(第二种方法)

在Hadoop103中操作,从Hadoop102中拷贝Hadoop

scp -r tangxiaocong@hadoop102:/opt/module/hadoop-3.1.3 ./

 这种操作可以让本机路径简化

以上两种操作,就使Hadoop,jdk从Hadoop102拷贝入Hadoop103

(3)拷贝也可以让Hadoop103操作  从Hadoop102中拷贝入Hadoop104

(听上去很无赖,很像小美)

scp -r tangxiaocong@hadoop102:/opt/module/* tangxiaocong@hadoop104:/opt/module/e/* tangxiaocon

在这里需要输入两次密码62d9c949de3e46cbb2e7f070b316c5ad.png

 三,rsync远程同步工具

rsync主要用于备份和镜像,具有速度快,避免复制相同内容和支持符号链接的优点

 rsync和scp的区别:

        用rsync做文件的复制要比scp的速度快,rsync只对差异文件进行操作

        scp是把所有文件都进行复制

rsync语法:

 rsync   -av   $pdir/$fname                                 $user@$host:$pdir/$fname

命令    递归       要拷贝的文件路径/名称              目的地用户@主机:目的地路径/名称

xsync集群分发脚本

需求:

        循环复制文件到所有节点的相同目录下

需求分析:

        (a)rsync命令原始拷贝

rsync -av /opt/module tangxiaocong@hadoop103:/opt/

        (b)期望脚本

xsync要同步的文件名称

        (c)期望脚本在任何路径下都能使用(脚本在全局环境变量的路径)

ssh免密登录:

        ssh:是一种网络协议,用于计算机之间的加密登录

免密登录原理:
2324aaef21b14124bfdc232d521d747c.png

ssh免密登录实操:

现在是Hadoop102ssh远程登录Hadoop103

现在是有密登录

0f5361b7a0a747e09c5382137f7272f2.png

cde4fd83739d4a2690f247d3a1106d34.png

可以显示,已经在Hadoop102上有密登录

先来到自己家目录下

3cad13e8a8994102b257770c2bdee172.png

178584ae9f5843769ce56a6073fdc78e.png

ls -al是查看所有隐藏文件

c37d5a32b5bb426d8268fc560c3eeed0.png

执行过ssh命令,所以会在家目录中有ssh的隐藏文件

d917a165aec94dfcb97feee2f262197a.png

设置ssh

免密登录

执行命令

  ssh-keygen -t rsa

rsa 是密钥对的一种算法(免密登录是通过密钥队进行联系---私钥和公钥) 

 没有执行命令之前

e861642109a243f5b66b5e1882acbe62.png

执行命令时

02c32047c6714b889a8e418f8a1440cf.png

执行命令后会生成密钥队

8a9c46e6552043edb176f1c00d1ab5bc.png

 设置免密登录的服务器,需要将公钥进行拷贝(私钥不用拷贝)

ssh-copy-id命令可以把本地的ssh公钥文件安装到远程主机对应的账户下

a6fcd74bd3f247d383676f78d288a26a.png

实现免密登录

b1e4e848a7b04609bad155b22390cbfa.png

Hadoop在Xshell下访问自己也是要输入密码的:
545033031feb4cb59648b3cfce3279d3.png

所以还需要在给自己copy一份

4a9448046a034a159f05af320954e4a2.png

可知copy后再ssh就不需要输入密码实现免密登录

当然这是普通用户的登录,如果切换到root用户下需要重新配置

猜你喜欢

转载自blog.csdn.net/m0_61469860/article/details/129251034