centos7环境下hadoop-2.7.3伪分布式搭建
1、 修改主机名称
###永久生效
hostnamectl set-hostname hadoop01
2、下载解压
将下载的hadoop-2.7.3.tar.gz解压到/usr/local目录下
3、修改配置
首先切换目录到/usr/local/hadoop-2.7.3/etc/hadoop下
cd /usr/local/hadoop-2.7.3/etc/hadoop
- 修改hadoop-env.sh中的JAVA_HOME为
export JAVA_HOME=/usr/local/jdk1.8.0_111
修改core-site.xml
在configuration标签中添加如下属性
<configuration>
<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:8020</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.7.3/data</value>
</property>
</configuration>
修改hdfs-site.xml
在configuration标签中添加如下属性<configuration> <!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
修改mapred-site.xml
在configuration标签中添加如下属性
<configuration>
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- 修改yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--使能够通过windows访问8088端口-->
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.1.105:8088</value>
</property>
</configuration>
- 添加hadoop环境变量
#hadoop start
export HADOOP_INSTALL=/usr/local/hadoop-2.7.3
export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin
#hadoop end
执行 hadoop version
命令,则可看到当前hadoop的版本
启动hadoop
首先格式化
执行hdfs namenode -format
命令启动hdfs
start-dfs.sh
在浏览器输入地址 http://192.168.1.105:50070访问hdfs
- 启动yarn
start-yarn.sh