linux 安装hadoop 的四大运行模式——本地模式(版本2.9.1)

四大模式包括:

1、本地模式(独立模式):(无需任何守护进程,直接运行在JVM上,存储文件相当于服务器本地文件)

2、伪分布模式(各个进程运行在hadoop的守护进程中,但并不是真正的分布式,因为都在一台机器上)

3、完全分布式(各个进程运行在多个服务器上)

4、HA高可用配置(两个名称节点共存(一个active、一个standby)高可用配置)

备注: 

1、hadoop的各个守护进程:

    (namenode  名称节点  )、(secondarynamenode 辅助名称节点)、(datanode  数据节点)

、(resourcemanager  名称节点资源管理器  )、(NodeManager  名称节点资源管理器)

、(journaynode HA环境时用来同步名称节点之间的日志的)

前期准备:

1、使用虚拟机,配制一个centos 7系统 (暂时,后续复制即可)

2、环境上配置jdk,新建一个用户名hadoop,用于后续的关于环境的搭建使用,建议不要直接使用root去操作,(但对于初学者建议使用root用户配置,防止权限问题)

一、本地模式(独立模式)

1、将hadoop-2.9.1.tar.gz包复制到服务器(本机复制到/home/hadoop/hadoop目录下)

下载地址:可通过官网下载:http://mirrors.hust.edu.cn/apache/hadoop/common/

百度云地址:链接:https://pan.baidu.com/s/15VeoyKmcrWVtcgbZi9B-mg   提取码:jobt 

解压文件:$> tar -zxvf hadoop-2.9.1.tar.gz

修改解压文件名为 dev

2、配置hadoop的环境变量  编辑 /etc/profile 文件

#hadoop配置
HADOOP_HOME=/home/hadoop/hadoop/dev
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#hadoop配置

备注:注意配置本地的hadoop位置

source /etc/profile  刷新环境变量    

3、修改hadoop配置中的java环境 :

修改hadoop-env.sh文件中的

备注:JAVA_HOME 的路径与环境变量的一致,有些可能不需要 ,但报错的时候注意一定得修改

3、查看是否配置成功

在任何目录下执行命令 : $>hdfs

若出来,hdfs的命令帮助 就代表配置成功

备注:为什么叫本地模式:(管理文件为本地文件)

输入命令:$>hdfs dfs -ls /   

查看文件信息 ,发现所属是本地服务器文件

可能出现问题汇总:

1、环境变量配置完后,输入hdfs报找不到命令,首先确定 java环境配置好,然后查看hadoop的环境是否配置好与本地一致

查看环境变量命令 $>echo $PATH

确认之后,进一步测试。

二、伪分布模式

链接:https://blog.csdn.net/weixin_39435629/article/details/84841252

二、完全分布模式

二、HA高可用模式

     

   

猜你喜欢

转载自blog.csdn.net/weixin_39435629/article/details/80967571
今日推荐