全网独有windows10安装hadoop2.2.0

简述

报错内容:Could not locate executable null\bin\winutils.exe in the Hadoop binaries
报错原因:未配置hadoop组件
在配置idea运行电影推荐系统时,如果没有安装配置hadoop,虽然项目可以正常启动,但是黑框内会报错,且个别推荐系统功能无法使用。
下面进行具体步骤讲解

详细安装配置步骤

1、安装jdk

在安装hadoop组件前一定要安装jdk,且注意版本兼容问题,我的是jdk1.8+hadoop2.2.0可以完美运行,供参考
jdk1.8网上的安装配置步骤很全,主要流程是:解压、环境变量JAVA_HOME、PATH、CLASSPATH,最后黑框输入java -version查看 运行结果如下
在这里插入图片描述

2、下载安装hadoop

2.1 下载

简要说明一下hadoop官方是没给windows版本的,都是linux改过来的,也因此导致hadoop安装过于困难,在此,我给出来已经配置好的hadoop2.2.0压缩包,直接解压到本地硬盘就好了。(温馨提醒,最好下载上,网上很多版本缺文件不是缺winutils就是bin文件夹里少文件)
下载链接,如无效请看评论区

2.2 解压安装

在这里,我解压到了 C:\Hadoop\hadoop-2.2.0
如下图所示:
在这里插入图片描述

2.3 配置环境变量

打开我的电脑,右击属性
在这里插入图片描述
点击:高级系统设置
在这里插入图片描述
点下方的环境变量设置
在这里插入图片描述

新建系统环境变量
变量名:HADOOP_HOME ,变量值:C:\Hadoop\hadoop-2.2.0
在这里插入图片描述
点击确定配置完成

2.4 配置cmd与xml文件

进入C:\Hadoop\hadoop-2.2.0\etc\hadoop(看你自己的解压路径/etc/hadoop)
一共要修改以下5个文件
hadoop-env.cmd
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml

修改hadoop-env.cmd内容如下:
第25行设置你的jdk路径,注意!注意!注意!

set JAVA_HOME= C:\PROGRA~1\Java\jdk1.8\jdk1.8.0_73

Program Files中间有空格,要改写成PROGRA~1
如,我的jdk路径是C:\Program Files\Java\jdk1.8\jdk1.8.0_73就要改写成C:*PROGRA~1*\Java\jdk1.8\jdk1.8.0_73

在这里插入图片描述

修改core-site.xml文件内容如下:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

在这里插入图片描述

修改hdfs-site.xml内容如下

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

在这里插入图片描述

修改mapred-site.xml内容如下:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

在这里插入图片描述

修改yarn-site.xml内容如下:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

在这里插入图片描述

设置完毕启动hadoop

在cmd黑框中进入hadoop解压目录的bin目录
我的是:C:\Hadoop\hadoop-2.2.0\bin
在这里插入图片描述
格式化,输入:hadoop namenode -format

再切换到sbin目录
在这里插入图片描述
输入:start-all.cmd
在这里插入图片描述
会同时弹出很多黑框!不要管也不要关!!

访问http://localhost:8088
在这里插入图片描述
访问http://localhost:50070
在这里插入图片描述

完成!!

猜你喜欢

转载自blog.csdn.net/weixin_43419816/article/details/127618058
今日推荐