关闭防火墙
关闭当前登陆防火墙
查看防火墙状态 service iptables status
关闭防火墙 service iptables stop
关闭系统防火墙(即系统启动时,不开启防火墙)
查看系统启动 chkconfig --list
关闭系统启动防火墙 chkconfig iptables off
创建Hadoop用户
添加用户 useradd hadoop
设置密码 passwd hadoop
hadoop用户新增sudo权限
编辑文件 vi /etc/sudoers
末尾行追加:
hadoop ALL=(ALL) ALL
强制保存退出: wq!
修改hosts文件
vim /etc/hosts
为:
#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
127.0.0.1 localhost
192.168.3.101 node01
切换到hadoop用户
创建文件夹 mkdir db
将下载的hadoop安装ftp到该目录下
安装并配置jdk1.7+
建议:将JAVA_HOME配置到当前家目录(/home/hadoop)下的.bashrc文件,该jdk只对当前用户有效
安装ssh
查看系统是否安装ssh rpm -aq | grep ssh
如果为安装:使用yum 安装
下载hadoop-2.7.3地址
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/
解压 hadoop-2.7.3.tar.gz
tar -zvxf hadoop-2.7.3.tar.gz
配置hadoop
进入配置文件目录
cd db/hadoop-2.7.3/etc/hadoop/
1.配置 hadoop-env.sh
修改jdk目录: export JAVA_HOME=/usr/java/jdk1.7.0_67
2.配置 core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<!--hdfs访问地址-->
<value>hdfs://192.168.3.101:9000</value>
</property>
<property>
<!--hadoop运行时产生的临时文件存放目录-->
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/db/hadoop-2.7.3/tmp</value>
</property>
</configuration>
3.配置 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.配置 mapred-site.xml
复制文件: cp mapred-site.xml.template mapred-site.xml
修改为:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5.配置 yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.3.101</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
配置HADOOP_HOME
编辑文件: vi ~/.bashrc
配置:
export HADOOP_HOME=/home/hadoop/db/hadoop-2.7.3
source ~/.bashrc
格式namendoe
执行目录: cd /home/hadoop/db/hadoop-2.7.3/bin
格式化命令: ./hdfs namenode -format
启动
执行目录:cd /home/hadoop/db/hadoop-2.7.3/sbin
启动: ./start-all.sh
tip:
1.输入密码为当前用户登录密码(123456)
2.可以使用"jps"查看启动状态
浏览器查看:
All Applications: http://192.168.3.101:8088
HDFS : http://192.168.3.101:50070