Hadoop集群单机伪分布搭建

1.前提准备

关闭防火墙：
1. 永久性生效（这里需要重启机器才能生效 reboot）
开启：chkconfig iptables on
关闭：chkconfig iptables off（推荐）

2. 即时生效，重启后失效
开启：service iptables start
关闭：service iptables stop
3.查看状态

service iptables status

Java和hadoop环境都已经配置好
如果没有搭建请看：使用CentOS6.8搭建Hadoop集群，只需要下载配置环境变量。

2.修改主机名与ip映射

vi /etc/hosts
前面的不用动，只要设置本机ip与主机名，例如： 192.168.10.3 master2
在这里插入图片描述

3. 修改配置文件

注意：hadoop2.x的配置文件在$HADOOP_HOME/etc/hadoop

进入该目录：cd /$HADOOP_HOME/etc/hadoop 伪分布式需要修改5个配置文件
3.1第一个：hadoop-env.sh

vi hadoop-env.sh
修改第26/27行数据如下所示：
export JAVA_HOME=/usr/local/jdk

在这里插入图片描述
3.2. 第二个：core-site.xml
命令： vi core-site.xml

<configuration>
<!-- 制定HDFS的老大（NameNode）的地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master2:9000</value>
	</property>
	<!-- 指定hadoop运行时产生文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/hadoop/tmp</value>
    </property>
</configuration>

3.3. 第三个：hdfs-site.xml
命令： vi hdfs-site.xml 添加如下信息，如果已经存在请将数字改成1，因为副本数小于等于节点上。

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

3.4. 第四个：mapred-site.xml

修改文件名 mv mapred-site.xml.template mapred-site.xml
命令： vi mapred-site.xml

<!-- 指定mr运行在yarn上 -->
		<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
        </property>

3.5. 第五个：yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->
		<property>
			<name>yarn.resourcemanager.hostname</name>
			<value>master2</value>
        </property>
		<!-- reducer获取数据的方式 -->
        <property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
        </property>

4. 格式化namenode（是对namenode进行初始化）

hadoop namenode -format

5. 启动hadoop

    先启动HDFS
	

sbin/start-dfs.sh

在这里插入图片描述

		
		再启动YARN
		

    sbin/start-yarn.sh

在这里插入图片描述

以上开启命令可以直接：start-all.sh

6. 验证是否启动成功

	使用`jps`命令验证

在这里插入图片描述

7. 浏览器查看

http://ip地址:50070 （HDFS管理界面）
在这里插入图片描述
http://ip地址:8088 yarn管理界面）

以上完成之后，说明单机伪分布已经搭建完成。接下来可以尝试一下搭建单机伪分布安装HBase