hadoop-CDH版环境搭建(一)

      目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH)、Hortonworks版本(Hortonworks Data Platform,简称“HDP”),对于国内而言,绝大多数选择CDH版本。

      搭建环境:CentOS6.5 + CDH5 + JDK7

      主:192.168.157.130  master

      从:192.168.157.131  slave1

      从:192.168.157.132  slave2

----------------------------------------------------------------------------------------------------

Step 1:关闭防火墙

a、查看防火墙是否关闭:

service iptables status

service ip6tables status

b、暂时关闭防火墙: 

扫描二维码关注公众号,回复: 515657 查看本文章

service iptables stop

service ip6tables stop

c、永久关闭防火墙:

chkconfig iptables off

chkconfig ip6tables off

 

Step 2:关闭SELinux

a、查看SELinux状态:

/usr/sbin/sestatus –v getenforce

vim /etc/selinux/config

vim /etc/sysconfig/selinux

SELINUX=enforcing改为SELINUX=disabled 

 

Step 3:修改HostName

a、修改hostname:

vim /etc/sysconfig/network(主:master,从1:slave1,从2:slave2)

b、修改每台机器上的/etc/hosts文件:

192.168.157.130 master

192.168.157.131 slave1

192.168.157.132 slave2

 

Step 4:配置SSH免密码功能(master上root用户执行)

a、生成ssh的公共和私有密钥对:

ssh-keygen -t rsa 

生成的过程中提示输入密钥对保存位置,直接回车,接受默认值就行了。接着会提示输入一个不同于你的password的密码,直接回车,让它空着。当然,也可以输入一个。

其中,公共密钥保存在 ~/.ssh/id_rsa.pub 私有密钥保存在 ~/.ssh/id_rsa

b、将authorized_keys拷贝到其他几台Slave上:

(可能会出现权限问题,请确保关闭防火墙,且互相之间配置了主机信任)

scp ~/.ssh/authorized_keys root@slave1:~/.ssh/

scp ~/.ssh/authorized_keys root@slave2:~/.ssh/

c、三台主机重启,测试免密功能是否配置成功:

ssh slave1

ssh slave2

没有提示输入密码,就表示成功了,最后可以通过”exit”退出ssh

 

Step 5:安装JDK(请根据CDH版本选择对应JDK,本次安装采用JDK7)

a、下载:http://download.oracle.com/otn-pub/java/jdk/7u80-b15/jdk-7u80-linux-x64.rpm?AuthParam=1429246603_8aa70427655c0e6f2aeff14f0d731ab3

b、安装

rpm -ivh jdk-7u51-linux-x64.rpm

c、添加java环境变量

vim /etc/profile

d、在/etc/profile文件里添加以下内容:

JAVA_HOME=/usr/java/latest

PATH=$PATH:$JAVA_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export JAVA_HOME CLASSPATH

e、最后执行source,是环境变量生效

source /etc/profile

 

Step 6:安装ntp服务(视具体情况)

hadoop集群对于时间同步非常严格,请查看本集群主机时钟是否同步,如已存在ntp同步服务,则可以跳过此步骤。

 

Step 7:创建hadoop用户

a、创建用户和组:(根据实际情况创建)

groupadd hdfs

useradd hadoop -g hdfs

passwd hadoop

b、赋予hadoop用户sudo权限:

visudo

c、添加如下内容:

hadoop            ALL=(ALL)                ALL

猜你喜欢

转载自chaijuntao.iteye.com/blog/2237802
今日推荐