CentOS6.5安装Hadoop、Hbase

一、安装CentOS6.5

使用VMWare安装CentOS

二、创建用户和组

groupadd hadoop
useradd hadoop -g hadoop
passwd hadoop
id hadoop

三、规划安装路径

–注意：路径权限的更改
a.安装路径
/hadoop 根路径下放置子路径，比如hbase的安装路径是 /hadoop/hbase
b.临时目录
/hadoop/tmp 存放临时文件
c.所用软件目录
/software 放置常用的安装软件

mkdir /hadoop
mkdir /software
mkdir /hadoop/tmp

四、上传或COPY安装软件

1.使用FTP
2.使用VMware共享文件
chown -R hadoop:hadoop hadoop
chown -R hadoop:hadoop software

五、关闭防火墙和SELinux

1，关闭防火墙
临时关闭防火墙
service iptables stop
永久关闭
chkconfig iptables off
2，关闭SELinux
SElinux是Linux安全加强工具
修改配置文件
vi /etc/sysconfig/selinux
修改： SELINUX=disabled
service iptables status可以查看到iptables服务的当前状态。
但是即使服务运行了,防火墙也不一定起作用,你还得看防火墙规则的设置 iptables -L
在此说一下关于启动和关闭防火墙的命令:

重启后生效
开启： chkconfig iptables on
关闭： chkconfig iptables off
即时生效，重启后失效
开启： service iptables start
关闭： service iptables stop

六.安装JDK

tar -zxf jdk-7u79-linux-i586.gz -C …/hadoop/
vi /etc/profile
#######################################
export JAVA_HOME=/hadoop/jdk1.7.0_79
export PATH= $P A T H :$ JAVA_HOME/bin

七、规划主机

用VMWare克隆
master 192.168.1.2
slave1 192.168.1.3
slave2 192.168.1.4

八、修改主机名和IP

a. 修改主机名
vi /etc/sysconfig/network
HOSTNAME=master
HOSTNAME=slave1
HOSTNAME=slave2
b. 分别修改IP
vi /etc/sysconfig/network-scripts/ifcfg-eth0
192.168.1.2 master
192.168.1.3 slave1
192.168.1.4 slave2
service network restart
c.修改映射关系
vi /etc/hosts
192.168.1.2 master
192.168.1.3 slave1
192.168.1.4 slave2
service network restart
d.最后重启一下LINUX

九、配置无密SSH登录

a. 如果没安装SSH，需提前安装
ssh -V 查看安装的版本
ssh 127.0.0.1
netstat -a | more看有没正常启动
如果出现：
tcp 0 0 *:ssh : LISTEN

b.生成密钥信息
在hadoop用户下的主目录
su hadoop
cd ~
ls -la
ssh-keygen -t rsa -N “”
ls -la
cd .ssh/
ls -la
发现两个文件 id_rsa id_rsa.pub
cat id_rsa.pub >> authorized_keys
c.添加至其他结点
在其他结点，分别
su - hadoop
mkdir .ssh
cd .ssh/
vi authorized_keys
直接COPY密钥信息
d.测试主结点是否可以登录到从结点
从结点的权限
mkdir ~/.ssh
chmod 700 ~/.ssh
1）hadoop用户下修改文件"authorized_keys"
chmod 600 ~/.ssh/authorized_keys
2）用root用户设置SSH配置
vi /etc/ssh/sshd_config
RSAAuthentication yes #启用 RSA 认证
PubkeyAuthentication yes #启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径
重启SSH服务
service sshd restart

十、安装Hadoop

a.在主结点上安装Hadoop
1.在主结点上解压文件
tar -zxf hadoop-2.6.0.tar.gz -C …/hadoop/
2.修改hadoop-2.6.0/etc/hadoop/hadoop-env.sh 获取JDK支持
export JAVA_HOME=/hadoop/jdk1.7.0_79
3.修改hadoop-2.6.0/etc/hadoop/core-site.xml 全局的配置文件

    hadoop.tmp.dir
    /hadoop/tmp
    A base for other temporary directories.


    fs.default.name
    hdfs://192.168.1.2:9000

4.修改hadoop-2.6.0/etc/hadoop/hdfs-site.xml
dfs.name.dir
/hadoop/hadoop-2.6.0/namenodedata
dfs.data.dir
/hadoop/hadoop-2.6.0/data
dfs.replication
2

5.修改hadoop-2.6.0/etc/hadoop/mapred-site.xml mapreduce
6.修改hadoop-2.6.0/etc/hadoop/slaves 指定从节点
slave1
slave2

b.需要分发到其他两个节点，同步文件内容
rsync -avz /hadoop/hadoop-2.6.0 slave1:/hadoop/
rsync -avz /hadoop/hadoop-2.6.0 slave2:/hadoop/
c.格式化HDFS
bin/hdfs namenode -format
d.启动hdfs
sbin/start-dfs.sh
e.测试
jps
或
http://master:50070/
f.停止hdfs
sbin/stop-dfs.sh

十一、安装ZooKeeper

http://zookeeper.apache.org/
a.在主节点上安装ZooKeeper
tar -zxf zookeeper-3.4.6.tar.gz -C …/hadoop/
b.将conf目录下面的zoo_sample.cfg修改为zoo.cfg
cd zookeeper-3.4.6/conf/

修改zoo.cfg
dataDir=/hadoop/zookeeper-3.4.6/zookdata

在dataDir指定的数据目录（/hadoop/zookeeper-3.4.6/zookdata）下，创建文件myid，文件内容为一个正整数值，用来唯一标识当前机器，因此不同机器的数值不能相同，可以选择1，2，3
cd /hadoop/zookeeper-3.4.6/zookdata
vi myid
1
在zoo.cfg中加入如下参数
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
b.同步
rsync -avz /hadoop/zookeeper-3.4.6 slave1:/hadoop/
rsync -avz /hadoop/zookeeper-3.4.6 slave2:/hadoop/
c.同步后修改各个节点的myid
2
3
d.分别启动各个节点的服务器进程
bin/zkServer.sh start
e.检查安装是否成功
./zkServer.sh status
bin/zkCli.sh -server master:2181
ls /
quit
f.停止ZooKeeper
bin/zkServer.sh stop

十二、安装hbase

http://hbase.apache.org/
确保HDFS处于启动状态
a.在主节点解压HBASE
tar -zxf hbase-1.0.3-bin.tar.gz -C …/hadoop/

b.修改配置文件
1.修改HBase的环境变量配置文件hbase-env.sh
export JAVA_HOME=/hadoop/jdk1.7.0_79
2.修改hbase-site.xml
hbase.rootdir # 设置 hbase 数据库存放数据的目录
hdfs://192.168.1.2:9000/hbase
hbase.cluster.distributed # 打开hbase分布模式
true
hbase.zookeeper.quorum
master,slave1,slave2 # 指定zookeeper 集群节点名
hbase.zookeeper.property.dataDir # 指zookeeper集群data目录
/hadoop/zookeeper-3.4.6/zookdata

3.修改regionservers
slave1
slave2
c.同步两个从节点
rsync -avz /hadoop/hbase-1.0.3 slave1:/hadoop/
rsync -avz /hadoop/hbase-1.0.3 slave2:/hadoop/

d.启动hbase
./start-hbase.sh
e.检查是否启动成功
jps
f.利用客户端连接到hbase
./hbase shell
g.玩转hbase,未来的主要工作
create ‘test’,‘cf1’
list
put ‘test’,‘row1’,‘cf1:a’,‘value1’
put ‘test’,‘row1’,‘cf1:b’,‘value2’
scan ‘test’
disable ‘test’
drop ‘test’

十三、关闭与启动Hadoop、zookeeper、hbase

1.停掉hbase. 在bin目录下
./stop-hbase.sh
2.各个结点分别停掉zookeeper. 在bin目录下
./zkServer.sh stop
3.停掉hadoop. 在sbin目录下
./stop-dfs.sh