window 下安装hadoop

一、下载安装软件
1、下载安装jdk （使用不带空格的路径，比如Program Files，将在后面的配置中报错！)
x86
C:\Java86\jdk1.8.0_171
C:\Java86\jre1.8.0_171

x64
C:\Java64\jdk1.8.0_171
C:\Java64\jre1.8.0_171

2、下载hadoop。下载地址：http://hadoop.apache.org/releases.html
这里下载使用的是2.8.3的二进制版本（binary）文件,解压到 D:\Hadoop\hadoop-2.8.3

3、下载winutils。这个是别人编译好的hadoop的windows版本二进制文件，不需要我们自己进行编译。下载下来然后将hadoop-2.8.3进行！覆盖！即可。
下载地址：https://github.com/steveloughran/winutils
clone or download

二、配置环境
1、D:\Hadoop\hadoop-2.8.3\etc\hadoop 下修改文件4个文件

①core.site.xml（配置默认hdfs的访问端口）

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

②hdfs-site.xml（设置复制数为1，即不进行复制。namenode文件路径以及datanode数据路径。）

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

③将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容（设置mr使用的框架，这里使用yarn）

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

④yarn-site.xml（这里yarn设置使用了mr混洗）

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

2、配置系统变量
JAVA_HOME=C:\Java86\jdk1.8.0_171 --32位或64位
HADOOP_HOME=D:\Hadoop\hadoop-2.8.3

在path中添加变量：
%JAVA_HOME%\bin
%HADOOP_HOME%\bin

3、进入 D:\Hadoop\hadoop-2.8.3\bin目录，格式化hdfs
在cmd中运行命令 hdfs namenode -format

4、进入D:\Hadoop\hadoop-2.8.3\sbin目录
在cmd中运行命令 start-all.cmd，它将会启动4个进程。

至此，hadoop服务已经搭建完毕。

三、测试
3、在浏览器地址栏中输入：http://localhost:8088 查看集群状态

猜你喜欢