[3]伪分布式集群搭建

版权声明：Collected by Bro_Rabbit only for study https://blog.csdn.net/weixin_38240095/article/details/83002146

一、Linux的安装与网络基本设置

1. Linux虚拟机安装 [rhel7-Gnome]；

2. VM主页->编辑虚拟机设置->网络适配器：选择NAT模式；

3. 编辑->虚拟网络编辑器->VMnet8->NAT设置：查看子网IP，子网掩码，网关；

4. [Windows物理机] 网络和Internet设置->更改适配器选项->VMnet8-IPV4：设置同一子网下的IP；

5. [rhel7-Gnome] 右上角“网络”->设置->编辑eth0->IPV4：设置同一子网下的IP；

6. [Windows-cmd] ping,若能接通即可通过SecureCRT连接Linux；

7. root权限下，ln -sf /lib/systemd/multi-user.target /etc/systemd/system/default.target 关闭图形化界面（注：rhel7已经不再使用/etc/inittab RunLevel设置显示）；

8. root权限下，vim /etc/sudoers 插入一行 “userA ALL=(ALL) ALL”，给指定的普通用户userA赋予sudo权限；

   NETWORKING=yes	
   HOSTNAME=...(如Hadoop01)
   

9. 普通用户userA权限下，vim /etc/hosts，插入"ip地址 主机名"以添加映射；

10. 关闭Linux防火墙：

#查看防火墙状态
service iptables status
systemctl status firewalld (rhel7)

#关闭防火墙
service iptables stop
systemctl stop firewalld（rhel7）

#查看防火墙开机启动状态
chkconfig iptables -list

#关闭防火墙开机启动
chkconfig iptables off
systemctl disable firewalld

---

二、JDK安装

• SecureCRT下，alt+p弹出sftp窗口，put jdk路径

1. 创建目录并解压jdk；

mkdir hadoopApp
tar -xzf {JDK_NAME} -C hadoopApp

2. 将Java添加至环境变量中；

vim /etc/profile

export JAVA_HOME=/home/hadoopApp/{JDK_NAME}
export PATH=$PATH:$JAVA_HOME/bin

3. 刷新配置；

source /etc/profile

---

三、安装Hadoop

1. 上传，解压与JDK安装时一样的；

2. 进入 hadoop2.x/etc/hadoop，修改6个配置文件：
   (1) hadoop-env.sh

   #第27行
   export JAVA_HOME={在/etc/profile中设置的JAVA_HOME}
   

   (2) core-site.xml

   		<!-- 指定Hadoop所使用的文件系统schema（URI），NameNode -->
   		<property>
   			<name>fs.defaultFS</name>
   			<value>hdfs://[HOSTNAME]:9000/</value>
   		</property>
   		
   		<!-- 指定Hadoop运行时产生文件的存储目录 -->
   		<property>
   			<name>hadoop.tmp.dir</name>
   			<value>/home/hadoop/hadoop-2.4.1/tmp</value>
   	    </property>
   

   (3) hdfs-site.xml

   <!-- 指定HDFS中文件块的副本数量 -->
   <property>
   	<name>dfs.replication</name>
   	<value>1</value>
   </property>
   

   (4) mapred-site.xml
   （重命名mapred-site.xml.template）

   <!-- 指定mr运行在yarn上 -->
   <property>
   	<name>mapreduce.framework.name</name>
   	<value>yarn</value>
   </property>
   

   (5) yarn-site.xml

   <!-- 指定YARN ResourceManager -->
   <property>
   	<name>yarn.resourcemanager.hostname</name>
   	<value>{HOSTNAME}</value>
   </property>
   			
   <!-- reducer获取数据的方式 -->
   <property>
   	<name>yarn.nodemanager.aux-services</name>
   	<value>mapreduce_shuffle</value>
    </property>
   

   (6) slaves

   用于配置DataNode，默认为localhost
   

3. 将Hadoop添加到环境变量

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME=/…/hadoop-2.9.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

4. 格式化NameNode（对NameNode进行初始化）

hdfs NameNode -format
#或者 hadoop NameNode -format

5. 启动Hadoop
   先启动HDFS: start-dfs.sh
   再启动YARN: start-yarn.sh

6. jps验证是否启动成功
   

---

两个可视化管理工具（需要吧hostname-ip映射加入到hosts中）：
HDFS可视化界面- http://hostname:50070
MR可视化界面- http://hostname:8088