Hadoop 伪分布配置

进入hadoop配置目录

cd /etc/hadoop/etc/hadoop/

需要编辑以下几个文件

与HDFS相关
hdfs-site.xml
core-site.xml

与Yarn相关
mapred-site.xml
yarn-site.xml

————————–
使用VI命令编辑文件内容
hdfs-site.xml 如下

<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

core-site.xml 如下(NameNode地址)

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/hdfs/tmp</value>
</property>
</configuration>

注意创建该目录
mkdir /hdfs/tmp

mapred-site.xml

创建该文件
cp mapred-site.xml.template mapred-site.xml

编辑内容如下

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

yarn-site.mxl

<configuration>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
</configuration>

格式化 HDFS 也就是NameNode

hdfs namenode -format

使用命令启动hadoop

start-all.sh

需要输入多次密码

通过web界面观察启动情况, 将IP地址更改为你的linux主机地址
http://192.168.101.11:50070/
http://192.168.101.11:8088/

添加防火墙记录
vi /etc/sysconfig/iptables
增加内容如下

-A INPUT -m state --state NEW -m tcp -p tcp --dport 50070 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8088 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 9000 -j ACCEPT

重启防火墙
service iptables restart