windows下安装hadoop教程

Win10_x64位配置hadoop-2.7.5开发环境

 

在安装配置hadoop-2.7.5的环境时必须要配置好Java开发环境

才能安装hadoop

第一部分:下载安装Java,配置其开发环境

1、下载Java

下载网站:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

 

2、下载安装在D

 

双击安装在D盘:D:\Java\jdk1.8.0_161,这是其对应的安装路径

配置路径:

windows开始搜索栏输入:控制面板。如下图

 

3Java环境变量以及路径变量设置

点击控制面板——》系统和安全——》系统——》高级系统设置——》环境变量,如下图所示

A编辑系统变量:

 

B、继续编辑系统变量:

变量名:CLASSPATH

变量值:.;%JAVA_HOME%lib;%JAVA_HOME%lib/tools.jar;

 

C、添加路径:点击Path,新建两个环境变量:

%JAVA_HOME%\bin

%JAVA_HOME%\jre\bin

按照如下图所示

 

 

如果要检验Java是否安装完毕,可以在DOS系统在对应路径下输入Java  -version查看其安装版本。这里不做演示了。

 

 

 

 

 

第二部分hadoop的安装与环境配置

1、下载hadoop

下载网站:这是清华的镜像网站

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/

我选的是稳定版本hadoop-2.7.5

 

D盘创建一个hadoop文件夹将其保存在hadoop文件夹下:解压hadoop-2.7.5.tar.gz文件

2、替换binetc文件

然后去GIthub或者CSDN下载hadooponwindows-master.zip文件解压在同样的目录D:\hadoop下,解压hadooponwindows-master.zip

用后者的binetc文件去替换掉前者的binetc文件:注意先删除hadoop-2.7.5下的binetc文件再去粘贴hadooponwindows-masterbinetc文件(也可以自己去编辑)。

目的是减少自己取编辑以下四个文件的补充命令:

l D:\hadoop\hadoop-2.7.5\etc\hadoop\core-site.xml

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property></configuration>

l D:\hadoop\hadoop-2.7.5\etc\hadoop\mapred-site.xml

<configuration>

    <property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

    </property></configuration>

l D:\hadoop\hadoop-2.7.5\etc\hadoop\hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

       <name>dfs.namenode.name.dir</name>

       <value>/hadoop/data/namenode</value>

    </property>

    <property>

       <name>dfs.datanode.data.dir</name>

       <value>/hadoop/data/datanode</value>

    </property></configuration>

l D:\hadoop\hadoop-2.7.5\etc\hadoop\yarn-site.xml

<configuration>

    <property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

    </property>

    <property>

       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

       <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property></configuration

 

3.修改JDK的安装路径

D:\hadoop\hadoop-2.7.5\etc\hadoop\hadoop-env.cmd (修改JDK的安装路径)

用一个与语言编辑器打开:在JAVA_HOME=”改成“JAVA_HOME=D:\Java\jdk1.8.0_161”保存如下图所示。

 

 

4 、继续配置hadoop的环境变量

 

 

其中图中的第3步在新建条件

编辑环境变量

变量名:HADOOP_HOME

变量值:D:\hadoop\hadoop-2.7.5

然后图中的第4步条件下

编辑系统变量添加路径

点击Path下添加变量:%HADOOP_HOME%\bin

全部确定。

5格式化HDFS文件系统,hdfs namenode -format

如下图所示

 

然后有一个提示命令Y/N中选择输入Y如果这一步没有什么异常基本没有问题了。

6、最后,在dos系统下在命令行(管理员)将目录指向D:\hadoop\hadoop-2.7.3\sbin,键入“start-all”

将会弹出以下窗口:

 

NamenodeDatanodeYARN resourcemanagerYARN nodemanager四个进程启动成功,再看一下网站截图:

7、登陆localhost:8088

8 退出则在DOS系统 将目录指向D:\hadoop\hadoop-2.7.3\sbin 然后输入stop all”即可。

谢谢大家,分享完毕。

 

 

猜你喜欢

转载自blog.csdn.net/qq_16668303/article/details/79833022