版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xianchanggui8674/article/details/78600397
要想正常使用hadoop系统,主要是配置core-site.xml,hdfs-site.xml以及mapred-site.xml这几个配置文件,如果使用yarn框架的话,还需要配置yarn-site.xml。值得一提的是,这几个配置文件都有对应的xxx-env.xml,这些环境的配置文件需要正确的配置jdk的环境。
以下仅为我所使用,并且能在本地正常运行的配置:
core-site.xml的配置
<configuration>
<property>
#配置hdfs文件系统的位置和端口,这里使用的是本地
#依据个人配置而定,使用hostname命令即可。
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
<property>
#本地hdfs存放的位置
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0/data/temp</value>
</property>
</configuration>
hdfs-site.xml的配置
<configuration>
<property>
#hdfs文件系统的个数,目前我就使用1个,如果不配置就使用默认值3
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
按照官方文档,配置到这里,就可以使用hadoop进行计算和数据分析。
下面介绍官方文档提供的伪分布式的配置:
yarn-site.xml的配置
<configuration>
<property>
#服务名称
<name>yarn.nodemanager.aux-services</name>
#mapreduce的核心服务
<value>mapreduce_shuffle</value>
</property>
<property>
#nodemanager的主机名,现在使用的是本地
<name>yarn.nodemanager.hostname</name>
<value>localhost</value>
</property>
</configuration>
mapred-site.xml的配置
<configuration>
<property>
#配置用于执行MapReduce的框架,默认是Localhost,现在配置在yarn框架上
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
官方文档对应的配置到这集全都配置完成,有了这些配置,我们就能实现一个伪分布式的hadoop集群,下一遍文章就让我们开始尝试一下吧~
窗户外面蓝天白天的,美好的一天  ̄︶ ̄