上一篇博客地址:https://blog.csdn.net/IPOmonkey/article/details/82802190
8.修改core-site.xml
vim core-site.xml
在<configuration></configuration>标签中添加如下代码
<configuration></configuration>标签中添加如下代码
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop-2.7.1/tmp</value>
</property>
</configuration>
<!--第一个property参数用来指定hdfs的老大,namenode的地址-->
<!--第二个property参数用来指定hadoop运行时产生文件的存放目录-->
9.修改hdfs-site.xml
vim hdfs-site.xml
在<configuration></configuration>标签中添加如下代码
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
<!--第一个property参数指定hdfs保存数据副本的数量,包括自己,默认值是3。如果是伪分布模式,此值是1 -->
<!--第二个property参数设置hdfs的操作权限,false表示任何用户都可以在hdfs上操作文件 -->
10.修改mapred-site.xml
> cp mapred-site.xml.template mapred-site.xml
# 拷贝模板文件并重命名
> vim mapred-site.xml
在<configuration></configuration>标签中添加如下代码
<configuration></configuration>标签中添加如下代码
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
<!--property参数指定mapreduce运行在yarn上 -->
<!--yarn是Hadoop的资源协调工具。 -->
11.修改yarn-site.xml
vim yarn-site.xml
在<configuration></configuration>标签中添加如下代码
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
<!--第一个property参数用来指定yarn的老大resoucemanager的地址 -->
<!--第二个property参数用来指定NodeManager获取数据的方式 -->
12.配置slaves文件
vim slaves
写入hadoop01
13.配置hadoop的环境变量
> vim /etc/profile
修改配置文件,使hadoop命令可以在任何目录下执行,下面是修改后的代码。
JAVA_HOME=/home/software/jdk1.8.0_111 HADOOP_HOME=/home/software/hadoop-2.7.1 JAVA_BIN=/home/software/jdk1.8.0_111/bin PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME JAVA_BIN PATH CLASSPATH HADOOP_HOME |
加粗的地方都是需要修改的地方,注意PATH多个参数值之间用冒号隔开,所有的参数都在$PATH之前
> source /etc/profile
# 使配置文件生效
14.格式化namenode
hadoop namenode -format
中间如果提示是否需要重新格式化,则根据自己的需求输入即可。
如果出现successfully formatted,则表示格式化成功。
15.启动分布式文件系统
> cd /home/software
> cd hadoop-2.7.1/
> cd sbin
进入Hadoop安装目录下的sbin目录,执行:sh start-dfs.sh
如果要停止,执行sh stop-dfs.sh
之后执行jps,如果出现下图则表示执行成功
16. HDFS控制台页面
通过浏览器访问,访问地址是(虚拟机的ip) ip:50070来查看hdfs系统