Windows下配置Hadoop环境

1.准备文件:

首先到官方下载官网的hadoop2.7.7,链接如下
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

找网盘的hadooponwindows-master.zip
链接如下
https://pan.baidu.com/s/1vxtBxJyu7HNmOhsdjLZkYw
提取码:y9a4
把hadoop-2.7.7.tar.gz解压后
使用hadooponwindows-master的binetc替换hadoop2.7.7的binetc

2.配置文件:

配置JAVA_HOME

配置HADOOP_HOME

配置path 

path添加%HADOOP_HOME%\bin

 3.修改文件:

1.修改hadoop-env.cmd文件

使用编辑器打开hadoop-2.7.7\etc\hadoop\hadoop-env.cmd
修改JAVA_HOME的路径
把set JAVA_HOME改为jdk的位置
注意其中PROGRA~1代表Program Files

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_101

 2.修改hadoop-2.7.7/etc/hadoop/hdfs-site.xml文件

首先新建两个文件夹:

D:/hadoopdata/namenode

D:/hadoopdata/datanode

<configuration>
 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/D:/hadoopdata/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/D:/hadoopdata/datanode</value>
    </property>
</configuration>

 然后再Hadoop-2.7.7目录下添加tmp文件夹

4.移动文件:

把hadoop.dll拷贝到 C:\Windows\System32  不然在window平台使用MapReduce测试时报错


5.格式化HDFS:

首先在cmd窗口执行如下命令,重新格式化HDFS。

hdfs namenode -format

看到如下说明格式化成功。 

6.启动程序:

然后进入到 hadoop-2.7.7\sbin,双击start-all.cmd文件,就回打开4个命令窗口,接下来访问:

http://localhost:50070/ 访问hadoop的web界面

访问http://localhost:8088,访问yarn的web界面

7.停止程序

然后进入到 hadoop-2.7.7\sbin,双击stop-all.cmd文件。

猜你喜欢

转载自blog.csdn.net/weixin_38959210/article/details/107179822
今日推荐