CetnOs6.7安装CDH5.4.1手记--Hadoop(1)

前几天因为项目需求,重新安装一遍CDH,这次的安装是基于CentOs Linux 6.7,一路安装完,难免再次碰到很多问题,随手记录上,供下次参考。

1、安装条件与软件准备
1-1)硬件配置:2台塔式小型服务器,配置不高,内容只有8G,硬盘1T;
1-2)软件:软件的匹配是个头痛的事情,由于CDH发行版本更新太快,归档的安装包(包括CM和CDH)版本也很多,我之前安装了好多个版本,都碰到问题,这次采用的是CM+CDH5.4.1的版本,并且采用离线安装(在线安装受限网络访问,太慢了),我准备的软件如下:

这里写图片描述

1-3)软件下载:
大有也可以根据自己 需要,自动到网上下载:
(a) CM下载地址:
http://archive-primary.cloudera.com/cm5/cm/5/

但这个地址已经不提供5.9.2以前的版本的压缩包了,我是提前就准备了压缩包。

(b)CDH下载地址:
http://archive.cloudera.com/cdh5/
这里根据自己的需要选择相应的版本下载,我这里准备了的是这3个文件件:
这里写图片描述

(c)JDK下载地址:
http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

(d)Mysql connector下载地址:
http://dev.mysql.com/downloads/connector/j/

附:大家可以直接到我准备好的百度云盘上去下啊,但建议新手还是要对CM和CDH版本匹配顺问题,好好研究下!百度云盘地址:
(稍后上传,文件有点大)

2、安装前的系统配置
(注:所有的安装都用的root用户操作,但生产环境就不一定了)
2-1)配置主机名与ip地址对应关系,修改/etc/hosts文件,将节点ip也主机名对应(在所有节点上做同样的操作):

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.152   hadoop1.oaec.com
192.168.0.153   hadoop2.oaec.com

2-2)配置SSH名密钥登录(主要是在主节点上操作:hadoop1.oaec.com)

ssh-keygen -t rsa
--直接回车
ssh-copy-id hadoop1.oaec.com (将密钥拷贝到节点1)
ssh-copy-id hadoop2.oaec.com (将密钥拷贝到节点2

通过以下方式验证是否不需要输入密码:
这里写图片描述

2-3)关闭Linux系统防火墙和selinux
防火墙服务关闭与禁止自动重启:

service iptables stop
chkconfig iptables off

关闭selinux:
编程文件:/etc/sysconfig/selinux:

SELINUX=enforcing
改成
SELINUX=disabled

2-4)配置两个系统文件:
第一个文件:/etc/security/limits.conf,编辑它,将以下内容放到文件里(放在最后面):

root   soft    nproc   102400
root   hard    nproc   163840
root   soft    nofile  102400
root   hard    nofile  655360
root   soft    stack   102400

第二个文件:/etc/pam.d/login,编辑它,将下面这条放入文件:

session required pam_limits.so

2-5)JDK安装(虽然在安装CDH的时候会安装JDK,还是提前配置一下好);先检查Linux系统是否有opdnjdk,如果有,将这它删掉:
查询到有openjdk:

rpm -qa|grep openjdk
java-1.8.0-openjdk-1.8.0.45-35.b13.el6.x86_64
java-1.6.0-openjdk-devel-1.6.0.35-1.13.7.1.el6_6.x86_64
java-1.7.0-openjdk-devel-1.7.0.79-2.5.5.4.el6.x86_64
java-1.6.0-openjdk-javadoc-1.6.0.35-1.13.7.1.el6_6.x86_64
java-1.7.0-openjdk-1.7.0.79-2.5.5.4.el6.x86_64
java-1.8.0-openjdk-headless-1.8.0.45-35.b13.el6.x86_64
java-1.8.0-openjdk-devel-1.8.0.45-35.b13.el6.x86_64
java-1.6.0-openjdk-1.6.0.35-1.13.7.1.el6_6.x86_64

删除openjdk:

rpm -e --nodeps java-1.6.0-openjdk
rpm -e --nodeps java-1.7.0-openjdk
rpm -e --nodeps java-1.8.0-openjdk
rpm -e --nodeps ldapjdk-4.18-6.el6.x86_64
rpm -e --nodeps java-1.8.0-openjdk-devel
rpm -e --nodeps java-1.7.0-openjdk-devel
rpm -e --nodeps java-1.6.0-openjdk-javadoc
rpm -e --nodeps java-1.8.0-openjdk-headless
rpm -e --nodeps java-1.6.0-openjdk-devel

安装准备了的jdk:
这里写图片描述

安装完后,会在/usr/java/目录下自动目录:
这里写图片描述

2-6)必须安装的几个系统包

yum -y install psmisc
yum -y install libxslt
yum -y install screen
yum -y install telnet

猜你喜欢

转载自blog.csdn.net/qq_35528009/article/details/71255266
今日推荐