版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u012848709/article/details/85222861
楔子
win10安装 Hadoop 尝试失败,尝试编译,由于环境没搞好,也失败了,win10上最好安装一些旧版本的 hadoop 或者CHD版本的
winutils 下载
下载地址https://github.com/steveloughran/winutils
配置文件
1 core-site.xml
<configuration>
<!-- 指定hadoop临时目录,默认在/tmp/{$user}目录下,不安全,每次开机都会被清空-->
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/soft/bd/hdata/hadoop</value>
<!-- 注意此处 window上 路径以"/"开始 -->
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9820</value>
</property>
</configuration>
2 hdfs-site.xml
<configuration>
<!--文件副本数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>
3 mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4 yarn-site.xml
<configuration>
<!--NodeManager上运行的附属服务,需配置成mapreduce_shuffle,才可运行MapReduce程序-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
遇到的问题
- 无法创建符号链接 我是使用RAR以管理员解压
- yarn 启动自动停止
把share\hadoop\yarn\timelineservice
里面的jar复制到了share\hadoop\yarn