hadoop1.2.1+hbase集群详解

        最近我由于工作原因,我要搭建一套hadoop+hbase集群的测试环境。

目前有三台服务器,我计划就在这三台服务器中搭建一套环境,多余的话不说,大家往下看吧。

一、搭建前的准备工作

       我有三台服务器,分别是192.168.1.97,192.168.1.98,192.168.1.99。

       那我如何来命名呢,97对应的是master,98对应的是slave1,99对应的是slave2,其中97作为namenode节点。

       我的hadoop采用的是1.2.1版本,hbase采用的是0.94.16。

二、搭建hadoop环境

        1、使用tar命令将压缩包解压,放到/usr/hadoop目录中。

       

tar -zxvf hadoop1.2.1.tar.gz

        同时将hadoop安装包通过scp命令发送到另外二台服务器中。

   

scp hadoop1.2.1.tar.gz  slave1:/usr/

       2、生成免签密钥

      

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

scp authorized_keys slaves1:~/.ssh/

scp authorized_keys slaves2:~/.ssh/

     使用以上命令生成密钥,并且复制到另外二台机器中。

     3、修改主机名和host

    

使用 vi /etc/sysconfig/network 
修改HOSTNAME=master
使用 vi /etc/hosts
添加 192.168.1.97 master

    同样的道理,配置在slave1和slave2机器里。

    4、修改core-site.xml文件

   

<configuration>   
        <!-- file system properties --> 
    <property> 
        <name>fs.default.name</name> 
        <value>hdfs://master:9000</value> 
    </property> 
    <property> 
        <name>fs.checkpoint.dir</name> 
        <value>/usr/hadoop_dir/dfs/namesecondary</value> 
    </property> 
</configuration>

    5、修改hdfs-site.xml

    

<configuration>
   <property>
      <name>dfs.replcation</name>
      <value>1</value>
   </property>
</configuration>

     这里面的value值,当服务器的数量大于三个的时候,建议配置成2以上,本例为了演示写成1,其实这个配置文件就是为了说明备份的数量。

     6、修改mapred-site.xml

    

<configuration> 
        <property> 
                <name>mapred.job.tracker</name> 
                <value>master:9001</value> 
        </property> 
</configuration>

      7、修改hadoop-env.sh

     在该文件中添加JAVA_HOME保存退出。如下所示,这个步骤必须要进行。

    

     8、修改slaves文件

    

     如果希望将namenode也作为datanode,那就写上三个。

     9、格式化文件系统

    

./hadoop  namenode -format

      10、启动hadoop

    

使用./start-all.sh启动

    如果在启动的时候报错,则要到logs目录中查看相应的日志。

   

仔细看图,要观察每一个节点是否显示出来,如果没有显示说明该节点存在问题。

      11、成功后显示如下界面:

     

三、搭建hbase环境

       1、修改hbase-site.xml配置文件

      

<configuration>
<property>
    <name>hbase.master</name>
    <value>master:60010</value>
  </property>
 <property>
        <name>dfs.support.append</name>
        <value>true</value>
</property>
 <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
 </property>
 <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
 </property>
</configuration>

  hbase.cluster.distributed:这个属性是用来判断hbase是否是集群,这个需要注意,这里选择为true。

  由于在本例中没有单独安装Zookeeper使用hbase默认的,所以在另外二台服务器中该配置文件中多几个属性。如下所示:

  

<property>
        <name>hbase.zookeeper.quorum</name>
        <value>master</value>
 </property>
    2、修改regionservers
master
slave1
slave2

    3、修改hbase-env.sh

    添加JAVA_HOME。

   

    4、启动hbase集群。

   

    5、启动成功界面如下:

猜你喜欢

转载自flychao88.iteye.com/blog/2029065