Window10安装hadoop分布式配置

第一章概述

1、安装jkd1.8，此步骤省略。

2、安装hadoop-2.8.5；用hadoop-3.2.1没有安装成功，可能是winutils版本匹配问题；

3、下载winutils

4、分布式部署配置四个site.xml文件

5、格式化namenode

6、启动hadoop

7、关闭hadoop

第二章安装hadoop

1、镜像地址

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common

2、解压镜像文件

注意：路径不能有空格；winrar要用管理员权限解压（win10）。

3、配置环境变量

注意JDK的环境变量不能有空格，C盘中的Program Files目录名称可用PROGRA~1代替

4、查看hadoop的版本

第三章分布式配置

1、下载winutils

https://github.com/steveloughran/winutils

将winutils中bin的文件（版本号2.8.3）拷贝到hadoop的bin中（版本号2.8.5）

2、配置site文件

1) core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<!-- 默认hdfs的访问端口 -->
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>

2) hdfs-site.xml

<!-- 设置复制数为1，即不进行复制。namenode文件路径以及datanode数据路径 -->
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/tools/hadoop-2.8.5/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/tools/hadoop-2.8.5/data/datanode</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/tools/hadoop-2.8.5/tmp</value>
    </property>
</configuration>

3) mapred-site.xml

<!-- 将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容（设置mr使用的框架，这里使用yarn） -->
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4) yarn-site.xml

<configuration>

    <!-- Site specific YARN configuration properties -->
    <!--  这里yarn设置使用了mr混洗  -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

3、格式化节点文件

用管理员运行cmd, 输入命令：hdfs namenode -format