hadoop环境安装

首先安装好虚拟机环境，这是我的安装环境

环境安装好后，修改虚拟机的主机名，vi /etc/hosts,在原来的信息后面添加—ip地址主机名

192.169.202.110 RedHat110

还有关闭防火墙
systemctl stop firewalld.service 关闭防火墙，重启后又开启
systemctl disable firewalld.service 禁用防火墙
systemctl statusfirewalld.service 查看防火墙状态

然后使用文件上传工具例如winscp，FileZilla把jdk和hadoop2的安装介质上传到虚拟机上，然后用远程连接工具进入虚拟机的终端，查看下我上传的文件
这里写图片描述

使用以下命令解压压缩包

tar -zxvf 压缩包 -C 解压目录

然后在环境变量中添加jdk和hadoop的目录，配置环境变量有两种一种系统级（/etc/profile）的一种用户级(~/.bash_profile)，我这边是用root用户操作系统的所以我修改的是/root/.bash_profile文件，使用vi命令打开文件，在文件中添加以下内容，相应目录用自己的解压目录

    #JDK配置
    JAVA_HOME=/root/directory/jdk1.8.0_144
    export JAVA_HOME
    PATH=$JAVA_HOME/bin:$PATH
    export PATH

    #hadoop配置
    HADOOP_HOME=/root/directory/hadoop-2.7.3
    export HADOOP_HOME
    PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
    export PATH

添加完后保存退出，并使用下列命令使环境变量立即生效可以使用

 source /root/.bash_profile

如果出现不小心在环境变量中写错了一个东西导致原来的PATH损坏，以至于一些基础命令都不能用的情况，可以使用/bin/vi 命令来打开你的配置文件修改。

环境变量配置好后接下来配置hadoop的安装配置，首先hadoop有三种安装模式，单机模式standalone，伪分布模式，全分布模式。
单机模式：是hadoop的默认模式即什么配置都没有，解压后直接启动既可以，单机模式没有HDFS功能，只有MapReduce的功能
伪分布模式：只需要一台机子，DataNode和NameNode装在一台机子上。能使用hadoop的所有操作，只是只有一台机子
全分布模式：模仿正式的分布式环境，配置多台数据节点

配置其实很简单只要在相应的文件写入相应的内容即可完成配置，以如下这种形式将配置写入文件，配置文件在hadoop安装目录的etc文件夹下
这里写图片描述

hadoop-env.sh修改JAVA_HOME的值
dfs.replication 配置数据块的冗余度，伪分布是1，全分布小于等于数据节点个数，且一般不要超过三个
dfs.permissions 是否开启HDFS的权限检查，做练习时关闭掉方便操作
fs.defalutFS 配置NameNode地址，
hadoop.tml.dir 配置数据在Linux上保存的位置，默认是/tmp但这个目录每次重启后会删掉数据，自己新建一个存放目录
mapreduce.framework.name MR运行的框架 hadoop2以后可以使用yarn
yarn.resouremanager.hostname yarn的主节点，本机的IP地址
yarn.nodemanager.aux-services NodeManager运行MR程序方式
slaves中配置的DataNode的地址，即数据节点的主机名

*需注意 mapred-site.xml文件在配置文件夹下是没有的需要把 mapred-site.xml.template文件拷贝或重命名为 mapred-site.xml

这里为了方便练习，我只安装了伪分布模式，配置好后使用hdfs namenode -format初始化HDFS
然后使用start-all.sh命令启动hadoop，这时因为没有配置免密登录，它会让你输入多次密码，全部启动后用jpd命令查看一下启动的进程，如果如图启动了说明配置没有出错，有什么问题检查一下配置信息，然后重新初始化NameNode
这里写图片描述

为了方便使用，这边要配置免密码登录
用ssh-keygen -t rsa 产生一个秘钥对
然后把公钥发送给你要登录的服务端
ssh-copy-id -i ~/.ssh/id_rsa.pub 用户名@主机名
接下来启动hadoop就不用一遍遍输入密码了

猜你喜欢