Centos6安装CDH5.15.1最详细版-1 环境准备工作

我这里是之前装的三台虚拟机，如下：
192.168.201.81 hadoop-1
192.168.201.82 hadoop-2
192.168.201.83 hadoop-3

准备工作：

先准备下载CDH相关安装包
创建目录，把CDH相关安装包都入到这个目录里

mkdir -p /opt/software/cloudera/CDH-5.15.1

本地网络太慢，这里都用服务器下载安装包，要先装wget服务。

安装包准备

Cloudera Manager安装包
cm5.14.2-centos6.tar.gz

wget http://archive.cloudera.com/cm5/repo-as-tarball/5.15.1/cm5.15.1-centos6.tar.gz

CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel

wget http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel

CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel.sha1

wget http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha1

manifest.json

wget http://archive.cloudera.com/cdh5/parcels/latest/manifest.json

cloudera-manager-installer.bin

wget http://archive.cloudera.com/cm5/installer/5.15.1/cloudera-manager-installer.bin

其他安装包
JDK1.8安装包——我这里用的是jdk1.8，rpm包
jdk-8u181-linux-x64.rpm
Mysql5.6.x——也是rpm包
mysql-connector-java-5.1.7.jar
这些安装包后在都会用到，可以先把CDH包下载好，我上面提供链接了，其它安装包后面用到在下载也行。

---

1. 配置静态IP

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0
HWADDR=00:0C:29:AF:65:27
TYPE=Ethernet
UUID=269569e1-f888-4f73-b2f7-7af45225b572
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none
IPADDR=192.168.201.81
NETMASK=255.255.255.0
GATEWAY=192.168.201.1

其他保持不变,主要配置以下配置项,:
ONBOOT:IP开机自动启动
BOOTPROTO:IP类型为静态IP
IPADDR:IP地址
NETMASK:子网掩码
GATEWAY:默认网关
DNS1,DNS2:DNS服务器(联网用的)

重启网卡驱动

service network restart

以上三台都要配置。

2. 修改主机名

我的主机名分别为hadoop-1,hadoop-2,hadoop-3

3. hosts文件主机名与IP地址映射
   另外你的电脑最好也添加一下，Windows路径是：
   C:\Windows\System32\drivers\etc\hosts

vim /etc/hosts

## 添加以下内容
192.168.201.81 hadoop-1
192.168.201.82 hadoop-2
192.168.201.83 hadoop-3

3. 配置网络
   修改/etc/resolv.conf

vi /etc/resolv.conf
#添加以下
nameserver 8.8.8.8

4. 安装常用工具

我的系统是最小化安装，很多组件没有都要自己安装，如wget,vim,lrzsz,tar等。

yum -y install wget
yum -y install vim
yum -y install vim lrzsz
yum install -y tar

5. 禁用IPV6
   命令行执行以下命令

## 禁用IPv6
echo "                   " >> /etc/modprobe.d/dist.conf
echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf
## 查看是否追加成功
tail /etc/modprobe.d/dist.conf

6. 关闭防火墙

# 关闭防火墙
service iptables stop
# 永久性关闭防火墙
chkconfig iptables off
# 查看防火墙状态：
service iptables status

7. 禁用Selinux
   重启机器才会生效，这里先不重启

vim /etc/sysconfig/selinux
## 修改配置项：
SELINUX=disabled

8. 卸载系统自带的JDK
   rpm -qa|grep java

# xxx yyy zzz为你要卸载的插件，插件之间以空格隔开
rpm -e --nodeps xxx yyy zzz

我这里什么都没有。

9. 设置文件打开数目和用户最大进程数

## 设置用户最大进程数
vim /etc/security/limits.conf
## 结尾添加以下内容
*       soft    nofile          32768
*       hard    nofile          1048576
*       soft    nproc           65536
*       hard    nproc           unlimited
*       soft    memlock         unlimited
*       hard    memlock         unlimited

10. 统一时区为东八区
    我们国家的时区为东八区（+0800）

#查看当前时区
date -R;cat /etc/sysconfig/clock

不是北京时间，要设置一下时区，方法如下：
执行命令：

# 设置东八区时区为当前时区
rm -rf /etc/localtime
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# 手动同步下网络时间
ntpdate -u cn.pool.ntp.org


vim /etc/sysconfig/clock
ZONE="Asia/Shanghai"

在次查看

date -R;cat /etc/sysconfig/clock

11. Linux操作系统系统语言采用英文版

# 查看操作系统系统语言
echo $LANG
# 修改操作系统系统语言
vim /etc/sysconfig/i18n
LANG="en_US.UTF-8"

12. 关闭透明大页面

# 临时关闭透明大页面（立即生效）
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
# 永久关闭透明大页面（重启生效）
echo '            ' >> /etc/rc.local
echo '# 关闭大透明页面' >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag' >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled' >> /etc/rc.local
# 查看是否已经关闭
cat /sys/kernel/mm/redhat_transparent_hugepage/defrag
cat /sys/kernel/mm/redhat_transparent_hugepage/enabled

13. 修改swappiness

# 临时修改
sysctl -w vm.swappiness=1
# 永久修改
echo "vm.swappiness=1" >> /etc/sysctl.conf

14. 重启服务器

reboot