Hadoop【第三课】：虚拟机安装Hadoop（伪分布式）

1.下载Hadoop

Hadoop可以去官网下载地址进行下载，如下图所示：

在如果你之后还要使用Hbase等，建议不要选择较新的版本，或者可以去查查Hadoop和它们的版本支持关系！

镜像地址（下载旧的版本）

我这里下载的是2.7.7版本的Hadoop ！

2.将文件传输到虚拟机中

参考：【VMware】Xshell远程终端传送文件
参考：XShell向虚拟机上传文件

3.修改配置文件

①首先为Hadoop新建一个文件夹

# mkdir /usr/local/src/hadoop

②将Hadoop解压到该文件夹中

# tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/src/hadoop

③进入到配置文件所在文件夹目录下

# cd /usr/local/src/hadoop/hadoop-2.7.7/etc/hadoop/ 

④查看该目录下的文件

# ls

（1）为Hadoop配置JDK的路径

# vi hadoop-env.sh

修改内容为：

export JAVA_HOME=/usr/local/java/jdk1.8.0_221

（2）配置HDFS系统

# vi core-site.xml

添加如下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/src/hadoop/hadoop-2.7.7/tmp</value>
    </property>
</configuration>

（3）配置伪分布式

①先创建文件夹

# mkdir /usr/local/src/hadoop/hadoop-2.7.7/hdfs

# mkdir /usr/local/src/hadoop/hadoop-2.7.7/hdfs/data

# mkdir /usr/local/src/hadoop/hadoop-2.7.7/hdfs/name

②

# vi hdfs-site.xml

添加如下内容：

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/src/hadoop/hadoop-2.7.7/hdfs/name</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/src/hadoop/hadoop-2.7.7/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

（4）配置Hadoop的mapreduce运行在yarn上

①先修改文件名

# mv mapred-site.xml.template mapred-site.xml

# vi mapred-site.xml 

添加如下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（5）配置yarn

# vi yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>