大数据学习——Hadoop单机模式的搭建(超详细)

Hadoop单机模式的搭建

JunLeon——go big or go home


前言:Hadoop集群有三种运行模式,即单机模式,伪分布模式、分布式模式。

单机模式:只有一个JVM进程数,只运行在一台机器上(作测试用);

伪分布模式:有多个JVM进程数,运行在同一台机器上;

分布式(完全分布式)模式:多个JVM进程数,运行在三台或三台以上的机器上。

说明:

以下进入Hadoop单机模式的搭建,是在root用户下进行,如果在普通用户下,要注意权限、环境变量等,记得使用sudo命令。

一、Hadoop单机模式的搭建

1、创建用户

useradd hadoop

passwd hadoop (直接输入两次密码即可)

注意:如果切换到普通用户,需要使用 su 命令,在root用户下给普通用户赋权。

2、网络配置、修改主机名、配置网络映射

具体配置请查看:Linux学习——linux网络配置、修改主机名、网络映射、远程连接工具XShell的使用(超详细)_JunLeon的博客-CSDN博客

网络配置文件 /etc/sysconfig/network-scripts/ifcfg-eth0

vi  /etc/sysconfig/network-scripts/ifcfg-eth0

注意:CentOS7和8里面,网络配置文件为:/etc/sysconfig/network-scripts/ifcfg-ens33

主机名配置文件 /etc/sysconfig/network,修改HOSTNAME=主机名

vi   /etc/sysconfig/network

将HOSTNAME=localhost.localdomain修改为HOSTNAME=BigData01

注意:CentOS7或8,主机名配置文件为:/etc/hostname,直接删除以前的,添加主机名

配置网络映射 /etc/hosts

vi  /etc/hosts

在最后一行添加 ip地址 主机名   

    例如:192.168.182.10  BigData01        # 192.168.182.10是IP地址,BigData01是主机名

重启网络服务:

service  network  restart

3、安装ssh服务

查看是否安装ssh

rpm  -qa  |  grep  ssh

如果有openssh-clients、openssh-server,则不需要安装

如果没有,则需要安装,安装命令如下:

yum  install  -y  openssh-clients  openssh-server

启动ssh服务

service  sshd  start|stop|restart|status

start:开启、restart:重启、stop:关闭、status:状态,根据自己需要选择

4、防火墙的管理

service  iptables  start|stop|restart|status
chkconfig  iptables  off  # 永久关闭防火墙

start:开启、restart:重启、stop:关闭、status:状态,根据自己需要选择

5、安装jdk

1 XShell 6或者secureCRT远程登录

        XShell 6 的安装、使用请查看Linux学习——linux网络配置、修改主机名、网络映射、远程连接工具XShell的使用(超详细)_JunLeon的博客-CSDN博客

2 上传JDK到/opt目录下,Windows-->Linux  

 使用XShell 6里面的文件传输工具进行上传,左边选择Windows下的文件,右边是Linux的文件系统。

3 查看Linux是否安装java jdk

rpm  -qa  |  grep  java

如果查询有其他java版本,则需要卸载

rpm  -e  --nodeps  包名

4 解压上传的jdk,解压到/opt目录下

tar -zxvf jdk-8u161-linux-x64.tar.gz -C /opt

5 配置环境变量

vi  /etc/profile

在这个文件最后添加如下两行:

export JAVA_HOME=/opt/jdk1.8.0_161
export PATH=$JAVA_HOME/bin:$PATH

6 使这个配置文件生效

source /etc/profile

7 验证(查看java版本)

java -version

6、安装hadoop

1 上传hadoop安装包到Linux下的/opt目录

2 解压安装包到/opt目录

tar -zxvf hadoop-2.7.3.tar.gz -C /opt

3 配置环境变量

vi /etc/profile

在文件最后添加如下两行(在配置java的环境变量基础上添加hadoop路径)

export HADOOP_HOME=/opt/hadoop-2.7.3
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

使配置文件生效

source /etc/profile

4 验证(查看hadoop版本)

hadoop version

如果看到以下信息,则安装成功

下一篇:Hadoop集群伪分布模式的搭建(超详细)

如果喜欢、对你有帮助,反手点赞+收藏,跟着军哥学知识…… 

猜你喜欢

转载自blog.csdn.net/JunLeon/article/details/120503483