CDH集群的搭建

1.下载 CentOS-6.7-x86_64-bin-DVD1.iso

2.安装CentOS

3.配置相关

可以先删除当前账户家目录无用文件

[hadoop@CDH02 ~]$ rm -rf *


3.1 修改主机名

在 root 账号下用命令: vi /etc/sysconfig/network
或者如果配置了 hadoop sudo 权限,则在 hadoop 登录情况下使用命令:sudo vi /etc/sysconfig/network

3.2 设置系统默认启动级别

在 root 账号下输入 vi /etc/inittab


3.3 配置 hadoop 用户 sudoer 权限

在 root 账号下,命令终端输入: vi /etc/sudoers
找到 root ALL=(ALL) ALL 这一行,
然后在他下面添加一行:
hadoop ALL=(ALL) ALL
保存,退出


3.4 关闭防火墙/关闭 Selinux

防火墙操作相关:
查看防火墙状态: service iptables status
关闭防火墙: service iptables stop
开启防火墙: service iptables start
重启防火墙: service iptables restart
关闭防火墙开机启动: chkconfig iptables off
开启防火墙开机启动: chkconfig iptables on
关闭 Selinux:具体做法是修改 vim /etc/selinux/config 配置文件中的 SELINUX=disabled


3.5 安装 JDK

1、 上传 jdk-8u73-linux-x64.tar.gz

2、 切换成root用户,su root

[root@CDH02 ~]# cd /home/hadoop/

[root@CDH02 hadoop]# mv jdk-8u73-linux-x64.tar.gz /usr/local/

解压到 cd /usr/local 目录下 tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr/local

注意:/usr/local/ 这个目录需要有root权限才行。所以要切换用户。

3、 配置环境变量

a) vi /etc/profile

b)在最后加入两行:

export JAVA_HOME=/usr/local/jdk1.8.0_73

export PATH=$PATH:$JAVA_HOME/bin

c)保存退出

4、 source /etc/profile

5、 检测是否安装成功,输入命:java -version


3.4 配置网络

在VM虚拟机的设置中改成下图所示





然后ping baidu.com


看一下ip地址:ifconfig


3.5 配置内网域名映射

注意需要root用户

[root@CDH02 ~]$ vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.123.202 CDH02
192.168.123.203 CDH03
192.168.123.204 CDH04
192.168.123.205 CDH05

3.6 设置linux系统的时间

修改时区为上海CST

[root@CDH02 ~]# mv /etc/localtime /etc/localtime.bak

[root@CDH02 ~]# ln -s /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime

[root@CDH02 ~]# date

修改时间为windows系统时间

[root@CDH02 ~]# ntpdate time.windows.com

4.克隆虚拟机

1、 选中一台已关闭的虚拟机,在虚拟机名称上,右键点击,选择“管理”,再选择“克隆”,出现如下画面:


2、 点击“下一步”,出现如下画面:


3、 点击“下一步”,出现如下画面:


记得选中“创建完整克隆”

4、 点击“下一步”,出现如下画面,改号里面的值:改虚拟机名字分别为CDH03、CDH04、CDH05


记得更改“虚拟机名称”和“位置”的值

5、 点击“完成”,vmware 将为我们克隆一台新的虚拟机,下面是克隆的状态

6、 到此为止,新的CDH03 就被创建出来了。但是CDH03 跟之前的 CDH02 完全一模一样。所以还有几个地方需要修改

7、 先开机 CDH03,然后正常登陆

8、 第一个修改的地方,是网卡,请按照下面的说明步骤来,修改一个配置文件,执行命令:vi /etc/udev/rules.d/70-persistent-net.rules

发现是如此结果:


我们要做的事情是把第一个红框,也就是 eth0 网卡,给删掉然后再把下面红框当中的“eth1”改为“eth0”,改完之后的结果是:


然后保存退出

9、 第二个要修改的地方是网卡配置文件,执行命令:vi /etc/sysconfig/network-scripts/ifcfg-eth0


我们把红框当中的“UUID”和“HWADDR”这两行信息删掉,然后把“IPADDR”再重新分配一个 IP,我在此给它改为 192.168.123.203,结果如下:


保存退出。这个地方就改好了。

10、重启

最后注意:如果该主机配置主机名,那么还要记得改掉主机名

5.配置免密登陆

a) 在 hadoop 登录状态下,

输入命令 ssh-keygen

b) 之后你会发现,在/home/hadoop/.ssh 目录下生成了公钥文件

[hadoop@CDH03 ~]$ cd .ssh


c) 使用一个更简单的方式,使用命令:ssh-copy-id CDH03 建立 CDH02 到 CDH03 的免密登录



d)测试ssh是否成功

ssh CDH02

exit


6.禁用 IPV 6

echo " " >> /etc/modprobe.d/dist.conf

echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf

echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf

在所有主机上执行如上命令,并重启生效。

7.设置用户最大能打开文件数目、进程数和内存(所有节点)

在linux终端中输入 ulimit -a 进行查看

“open files”参数选项后面的数值就是当前系统支持的最大打开文件数


vim /etc/security/limits.conf

通过拷贝修改

* soft nofile 32728

* hard nofile 1029345

* soft nproc 65536

* hard nproc unlimited

* soft memlock unlimited

* hard memlock unlimited

修改后 reboot 重启系统

8.安装 MySQL 数据

1、 检查以前是否装过 MySQL

rpm -qa|grep -i mysql


2、 发现有的话就都卸载

rpm -e --nodeps mysql-libs-5.1.73-5.el6_6.x86_64


3、 删除老版本 mysql 的开发头文件和库

rm -rf /usr/lib/mysql

rm -rf /usr/include/mysql

rm -rf /etc/my.cnf

rm -rf /var/lib/mysql

注意:卸载后/var/lib/mysql 中的数据及/etc/my.cnf 不会删除,确定没用后就手工删除

4、 准备安装包 

MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar,上传,

解压命令:tar -xvf mysql-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar 


6、 安装 server

【注意需要在root用户下】

su

cd /home/hadoop

rpm -ivh MySQL-server-5.6.26-1.linux_glibc2.5.x86_64.rpm

开头:


结尾:


如上图所提示,即安装 server 成功

7.安装客户端

rpm -ivh MySQL-client-5.6.26-1.linux_glibc2.5.x86_64.rpm


8.登陆 MYSQL(登录之前千万记得一定要启动 mysql 服务)

service mysql start


初始密码在cat /root/.mysql_secret 这个文件里


[root@CDH02 hadoop]# mysql -uroot -pbWUI51vd6vv28yfn

9.修改密码

set PASSWORD=PASSWORD('root');


10.退出登陆验证,看是否改密码成功


11.增加远程登陆权限

mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;

mysql>FLUSH PRIVILEGES;


12.修改数据库的默认编码和执行引擎

第一步:先登录查看,数据库的字符编码,命令:show variables like '%char%';

第二步:关闭 MySQL,拷贝一个配置文件到/etc 目录下,具体请看命令:

[root@CDH03 hadoop]# cp /usr/share/mysql/my-default.cnf /etc/my.cnf

第三步:修改该配置文件:vim /etc/my.cnf,添加以下内容:

[mysqld]
default-storage-engine = INNODB
character-set-server = utf8
collation-server = utf8_general_ci

[client]
default-character-set = utf8


第四步:重启mysql

关闭mysql:mysqladmin -u root -p shutdown

启动mysql:service mysql start

查看默认编码:show variables like '%char%';










猜你喜欢

转载自blog.csdn.net/jenrey/article/details/80802052