版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_24228375/article/details/50749863
hadoop-2.4.1分布式安装
1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系
4.关闭防火墙
CentOS7.0默认使用的是firewall作为防火墙。
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）centos 7 关闭和开启图形界面
按照 /etc/inittab 内部说明做如下改动
#mv /etc/systemd/system/default.target /etc/systemd/system/default.target.bak (改名备份)
# ln -sf /lib/systemd/system/multi-user.target /etc/systemd/system/default.target (重新软连接文本界面为启动默认值界面)
#systemctl reboot (重启)
恢复图形界面
#rm -rf /etc/systemd/system/default.target (移除当前配置链接)
#mv /etc/systemd/system/default.target.bak /etc/systemd/system/default.target (恢复备份配置链接)
重启
#systemctl reboot 5.ssh免登陆
生成ssh免登陆密钥
进入到我的home目录
ssh-keygen -t rsa （四个回车）执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上
ssh-copy-id localhost
cd ~/.ssh将id_rsa.pub（公钥）追加到authorized_keys（如没有，则touch生成，并修改权限为600）文件当中，
6.安装JDK，hadoop，配置环境变量等
由于centos7.0有自带的jdk，需要删除后重新配置
rpm -qa | grep java显示
java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
python-javapackages-3.4.1-6.el7_0.noarch
tzdata-java-2015a-1.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
javapackages-tools-3.4.1-6.el7_0.noarch卸载
sudo rpm -e --nodeps java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
sudo rpm -e --nodeps tzdata-java-2015a-1.el7.noarch
sudo rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64上传，解压，并配置环境变量
vim /etc/proflie
export JAVA_HOME=/home/moran/app/jdk1.8.0_60
export HADOOP_HOME=/home/moran/app/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profile
集群规划：
| 主机名 | IP | 安装的软件 | 运行的进程 |
| hadoop01 | 192.168.1.101 | jdk、hadoop | NameNode、DFSZKFailoverController(zkfc) |
| hadoop02 | 192.168.1.102 | jdk、hadoop | NameNode、DFSZKFailoverController(zkfc) |
| hadoop03 | 192.168.1.103 | jdk、hadoop | ResourceManager |
| hadoop04 | 192.168.1.104 | jdk、hadoop | ResourceManager |
| hadoop05 | 192.168.1.105 | jdk、hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
| hadoop06 | 192.168.1.106 | jdk、hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
| hadoop07 | 192.168.1.107 | jdk、hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
说明：
1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，
而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。
在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。
通常配置奇数个JournalNode
这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，
会自动切换Standby NameNode为standby状态
2.hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.4.1解决了这个问题，
有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调
安装步骤：
1.安装配置zooekeeper集群（在hadoop05上）
1.1解压
tar -zxvf zookeeper-3.4.5.tar.gz -C /app/
1.2修改配置
cd /app/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改：dataDir=/app/zookeeper-3.4.5/tmp
在最后添加：
server.1=hadoop05:2888:3888
server.2=hadoop06:2888:3888
server.3=hadoop07:2888:3888
保存退出
然后创建一个tmp文件夹
mkdir /weekend/zookeeper-3.4.5/tmp
再创建一个空文件
touch /weekend/zookeeper-3.4.5/tmp/myid
最后向该文件写入ID
echo 1 > /weekend/zookeeper-3.4.5/tmp/myid
1.3将配置好的zookeeper拷贝到其他节点(首先分别在hadoop06、hadoop07根目录下创建一个weekend目录：mkdir /weekend)
scp -r /home/moran/app/zookeeper-3.4.5/ hadoop06:/home/moran/app/zookeeper-3.4.5/
scp -r /home/moran/app/zookeeper-3.4.5/ hadoop07:/home/moran/app/zookeeper-3.4.5/
注意：修改hadoop06、hadoop07对应/app/zookeeper-3.4.5/data/myid内容
hadoop06：
echo 2 > /app/zookeeper-3.4.5/data/myid
hadoop07：
echo 3 > /app/zookeeper-3.4.5/data/myid
2.安装配置hadoop集群（在hadoop04上操作）
2.1解压
tar -zxvf hadoop-2.4.1.tar.gz -C /app/
2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
#将hadoop添加到环境变量中
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_55
export HADOOP_HOME=/weekend/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
source /etc/profile
#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
cd /home/hadoop/app/hadoop-2.4.1/etc/hadoop
2.2.1修改hadoo-env.sh
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_55
2.2.2修改core-site.xml
<configuration>
<!-- 指定hdfs的nameservice为qingqq -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://qingqq/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/moran/app/hadoop-2.4.1/data</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop05:2181,hadoop06:2181,hadoop07:2181</value>
</property>
</configuration>
2.2.3修改hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice为qingqq，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>qingqq</value>
</property>
<!-- qingqq下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.qingqq</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.qingqq.nn1</name>
<value>hadoop01:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.qingqq.nn1</name>
<value>hadoop01:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.qingqq.nn2</name>
<value>hadoop02:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.qingqq.nn2</name>
<value>hadoop02:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop05:8485;hadoop06:8485;hadoop07:8485/qingqq</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/moran/app/hadoop-2.4.1/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.qingqq</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/moran/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>5000</value>
</property>
<property>
<name>dfs.namenode.handler.count</name>
<value>8</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
2.2.4修改mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2.2.5修改yarn-site.xml
<configuration>
<!-- 开启RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop03</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop04</value>
</property>
<!-- 指定zk集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop05:2181,hadoop06:2181,hadoop07:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
2.2.6修改slaves(slaves是指定子节点的位置，因为要在hadoop04上启动HDFS、在hadoop06启动yarn，所以hadoop04上的slaves文件指定的是datanode的位置，hadoop04上的slaves文件指定的是nodemanager的位置)
hadoop05
hadoop06
hadoop07
2.2.7配置免密码登陆
#配置hadoop01、hadoop02、hadoop03、hadoop04、hadoop05、hadoop06、hadoop07之间的免密码登陆
#生产ssh钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点，包括自己
ssh-coyp-id hadoop01
ssh-coyp-id hadoop02
ssh-coyp-id hadoop03
ssh-coyp-id hadoop04
ssh-coyp-id hadoop05
ssh-coyp-id hadoop06
ssh-coyp-id hadoop07
2.4将配置好的hadoop拷贝到其他6个节点
scp -r /home/moran/app/hadoop hadoop02:/home/moran/app/hadoop（两个主机目录一致）
###注意：严格按照下面的步骤
2.5启动zookeeper集群（分别在hadoop05、hadoop06、hadoop07上启动zk）
cd app/zookeeper-3.4.5/bin/
./zkServer.sh start
#查看状态：一个leader，两个follower
./zkServer.sh status
2.6启动journalnode（分别在在hadoop05、hadoop06、hadoop07上执行）
cd /home/moran/app/hadoop-2.4.1/sbin
hadoop-daemon.sh start journalnode
#运行jps命令检验，hadoop05、hadoop06、hadoop07上多了JournalNode进程
2.7格式化HDFS
#在hadoop01上执行命令:
hdfs namenode -format
#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/home/moran/app/hadoop-2.4.1/data，然后将/weekend/hadoop-2.4.1/tmp拷贝到hadoop02的/app/hadoop-2.4.1/下。
scp -r /home/moran/app/hadoop-2.4.1/data/ hadoop02:/home/moran/app/hadoop-2.4.1/data/
##也可以这样，建议hdfs namenode -bootstrapStandby
2.8格式化ZKFC(在hadoop01上执行即可)
hdfs zkfc -formatZK
2.9启动HDFS(在hadoop01上执行)
sbin/start-dfs.sh
检查两个namenode的jps进程是否一致，并查看dfszkcontroller的进程是否存在
2.10启动YARN(#####注意#####：是在hadoop03上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)
sbin/start-yarn.sh
到此，hadoop-2.4.1配置完毕，可以统计浏览器访问:
http://192.168.1.101:50070
NameNode 'hadoop01:9000' (active)
http://192.168.1.102:50070
NameNode 'hadoop02:9000' (standby)
验证HDFS HA
首先向hdfs上传一个文件
hadoop fs -put /etc/profile /profile
hadoop fs -ls /
然后再kill掉active的NameNode
kill -9 <pid of NN>
通过浏览器访问：http://192.168.1.102:50070
NameNode 'weekend02:9000' (active)
这个时候weekend02上的NameNode变成了active
在执行命令：
hadoop fs -ls /
刚才上传的文件是否存在，
手动启动那个挂掉的NameNode
sbin/hadoop-daemon.sh start namenode
通过浏览器访问：http://192.168.1.101:50070
NameNode 'weekend01:9000' (standby)
验证YARN：
运行一下hadoop提供的demo中的WordCount程序：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out
完成！