Cloudera-hadoop 离线安装

一.序言

这里将介绍Cloudera-hadoop(CDH) 5.5.1的安装，简单布置

我环境是：CentOS 6.5 mysql5.6 jdk1.7

机器3台：hadoop1006,hadoop1007,hadoop1008

主要是内存配置：主节点要求最好10G ，如果你东西都装主节点。

其他：已经打通ssh 免登陆，SELinux 防火墙等已经关闭。

免登陆：

生成：ssh-keygen -t rsa 一直回车结束

拷贝：ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop1007@ip

官方的3中方式：

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/installation_installation.html#concept_qpf_2d2_2p_unique_1

中文5.3 教程：

   http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cm_ag_upgrade_cm5.html

二.基本步骤：

1.下载manager: http://archive-primary.cloudera.com/cm5/cm/5/

由于我是CentOS6,下的
cloudera-manager-el6-cm5.5.1_x86_64.tar.gz 
如果是5就下载el5 
创建 /opt/cloudera-manager 和 /opt/cloudera 两个文件夹

解压到 /opt/cloudera-manager 下
tar -zxvf cloudera-manager-el6-cm5.5.1_x86_64.tar.gz

2.下载CDH,自动下载很慢：http://archive.cloudera.com/cdh5/parcels/5.5.1/

   CDH-5.5.1-1.cdh5.5.1.p0.11-el6.parcel
   CDH-5.5.1-1.cdh5.5.1.p0.11-el6.parcel.sha1   后缀改为.sha
   manifest.json

3. 将上面3个文件全部移动到/opt/cloudera/parcel-repo 下

$ mv CDH-5.5.1-1.cdh5.5.1.p0.11-el6.parcel cloudera/parcel-repo/
$ mv CDH-5.5.1-1.cdh5.5.1.p0.11-el6.parcel.sha cloudera/parcel-repo/
$ mv manifest.json cloudera/parcel-repo/

3.1 将 /opt/cloudera 复制到其他节点上

4.配置你主节点

$ vi /opt/cloudera-manager/cm-5.5.1/etc/cloudera-scm-agent/config.ini
#根据自己的配置
server_host=hadoop1006

5.放置mysql 驱动

$ cp mysql-connector-java-5.1.32.jar  /opt/cloudera-manager/cm-5.5.1/share/cmf/lib

6.数据库安装：

如果有老版本，先卸载：yum remove mysql mysql-server mysql-libs compat-mysql51

6.1 下载：yum install -y mysql-server mysql mysql-deve

6.2 启动： service mysql start

6.3 默认密码：sudo vi /root/.mysql_secret 默认看最新的

6.4 登录重置密码：SET PASSWORD = PASSWORD('root');

6.5 创建价格数据库，根据需要

#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#hue
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci
#oozie数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci

6.5 权限

# 不推荐用root
grant all on *.* to root@"%" Identified by "root";
或者
grant all on *.* TO 'hive'@'%' IDENTIFIED BY 'hive';

7.给所有节点加上用户

sudo useradd --system --home=/opt/cloudera-manager/cm-5.5.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

8.数据库初始化

/opt/cloudera-manager/cm-5.5.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm

7.主节点启动服务，其他节点只用启动cloudera-scm-agent 就行了。

/opt/cloudera-manager/cm-5.5.1/etc/init.d/cloudera-scm-agent start
/opt/cloudera-manager/cm-5.5.1/etc/init.d/cloudera-scm-server start

8.登录http://hadoop1006:7180/ admin/admin 安装就行了

9.我仅仅安了hdfs ,yarn,hive,hue,0ozie 其他的自行安装吧，配置大多是默认配置。可以将hue 0ozie 分到其他节点也行，方式主节点太重。

过程中遇到

1. 各种数据库连接失败什么的...基本都是权限连接地址引起的，因此你的用户权限要给够

2.import......libxslt.so.1 失败，下一个：yum install libxslt

3.安装OK 之后，还有web 地址打不开，有些需要配置成0.0.0.0 端口。

参考：

cdh 5.4.3

http://gjggw123.blog.163.com/blog/static/1198917420157144458624/

Cloudera-hadoop 离线安装

猜你喜欢