Linux下Hadoop的安装与配置——大数据

序:

今天在这里给大家分享一下如何在Linux下安装与配置Hadoop。

开始进行大数据部分的学习,为了存档,写下现在进行以下的步骤:

需要用到的主要版本:

虚拟机:Vmware Workstation pro 14

Linux系统:CentOS6.5 64bit

jdk版本:jdk1.8.0_111

hadoop版本:hadoop-2.8.4

所有的包均可以在官网下载

Hadoop的官网:http://hadoop.apache.org/

官方文档:http://hadoop.apache.org/docs/current/

下载地址:http://hadoop.apache.org/releases.html

在此次搭建环境中,主要是搭建了一个主节点,两个从节点,hostname分别是master,slave1,slave2

地址设置为静态ip.图形化处理只需要改变右上角网络,

192.168.66.111 master

192.168.66.112  slave1

192.168.66.113  slave2

一、Vmware Workstation+Centos6.5的安装

1.官网选择,安装版本12.5,输入序列号。

2.安装好虚拟机后,安装centos6.5版本的Linux系统。进行相关的环境设置。主要设置如下:

①需要将网络连接NAT,改成host-only模式,右键centos系统,进行编辑。

②将网络设置成静态IP,以便后来进行相关的编程。

③设置DNS解析:

  使用 vim /etc/sysconfig/network 命令,进行相关更改。  将HOSTNAME的变量给成master

  设置节点映射,vim /etc/hosts.在文本的最后一行追加内容:192.168.66.111 master

  验证配置,执行ping master,如果能够ping通过。则表示,这个配置正确。(需要保证网络连通)

同理,需要在其他节点设置相同。

这一步可以颠倒顺序,先配置单机,再配置集群。或者先配置集群在配置单机。只需要注意克隆的顺序即可。但是均需要在hosts文件中,添加节点IP

④关闭防火墙(很重要

  首先查看防火墙的运行状态:

service iptables status

 若不是关闭状态,就键入:

service iptables stop #临时关闭
chkconfig iptables off #永久关闭

⑤设置SSH自动登录(必须设置)

  验证是否安装了SSH。

       命令 :

rpm -qa |grep ssh   

     若没有安装,则命令进行在线安装:

 yum install openssh-server

  配置SSH免密登录:

1.ssh-keygen -t rsa  #直接四次回车
2.ssh-copy-id 主机名	 #然后会提示输入密码

  验证SSH无密码登录,执行命令  

ssh slave1  #slave1是我的从节点(其他虚拟机)名字,后边会讲到这个知识

      后面不需要密码确认说明配置免密配置成功;若登录了其他虚拟机的账户要退出,需要用命令:exit 进行退出。  

再次使用命令ssh slave1之后可以看到登录信息。

二、JDK的安装

 引用文章:https://blog.csdn.net/hu_belif/article/details/8226255

三、安装Hadoop

 1.安装版本2.8.4版本,一定要下载rpm结尾的版本,进行相关的配置,也许其他也可以,但是没有找到配置文件

2.解压文件。

命令:

tar -xzvf filename

3.设置文件环境变量。 命令  vim /etc/profile    在文件的最后一行,按 o 换行插入,增加以下内容:

export HADOOP_HOME=/usr/program/hadoop-2.5.2
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

   或者修改为类似下图的格式:

最后,执行命令使更改的资源立即生效。

 source /etc/profile

4.验证Hadoop是否安装完好。

键入命令

 hadoop  -version   

若出现如下语句,则说明安装成功。

参考文章:https://www.cnblogs.com/youngyan/p/5985834.html

有问题下方留言或者私信我哦。共同学习。

猜你喜欢

转载自blog.csdn.net/hu_belif/article/details/82391003
今日推荐