oozie的安装和部署

     在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起，这样才能够达到目的。在Hadoop生态圈中，有一种相对比较新的组件叫做Oozie，它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中，从而完成更大型的任务。
     Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容：

     a. 工作流定义
     b. 当前运行的工作流实例，包括实例的状态和变量

     Oozie工作流是放置在控制依赖DAG（有向无环图 Direct Acyclic Graph）中的一组动作（例如，Hadoop的Map/Reduce作业、Pig作业等），其中指定了动作执行的顺序。我们会使用hPDL（一种XML流程定义语言）来描述这个图。

     以上只是oozie的一个简单的介绍，具体的可以参看oozie的官方网站。本文将阐述oozie的具体安装过程。PS: 本安装的oozie的版本为cloudera CDH4， hadoop版本也是CDH4

     1、下载
     wget http://archive.cloudera.com/cdh4/cdh/4/oozie-3.3.2-cdh4.3.0.tar.gz

     下载ext-2.2.zip

     2、tar zxvf oozie-3.3.2-cdh4.3.0.tar.gz 解压到你的目录下
        设置环境变量：vi ~/.bashrc
        添加   export OOZIE_HOME=
              export PATH= $OOZIE_HOME/bin
              export OOZIE_URL=http://IP:11000/oozie
          执行source ~/.bashrc

     3、进入conf/action-conf，修改hive.xml(如果需要支持hive的话)，修改如下：

   <property>
      <name>hadoop.bin.path</name>
      <value>hadoop安装目录/bin/hadoop</value>
   </property>

   <property>
      <name>hadoop.config.dir</name>
      <value>hadoop安装目录/etc/hadoop</value>
   </property>

     修改conf/oozie-env.sh，配置你自己的参数值

     修改conf/oozie-site.xml
     如果使用的是mysql的话，则修改以下配置
     <property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>
            JDBC driver class.
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <value>jdbc:mysql://你的IP:3306/${oozie.db.schema.name}?      useUnicode=true&characterEncoding=utf8</value>
        <description>
            JDBC URL.
        </description>
    </property>

        <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <value>用户</value>
        <description>
            DB user name.
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>密码</value>
        <description>
            DB user password.

            IMPORTANT: if password is emtpy leave a 1 space string, the service trims the value,
                       if empty Configuration assumes it is NULL.
        </description>
    </property>

    4、解压oozie-hadooplibs-3.3.2-cdh4.3.0.tar.gz，在oozie的主目录下生成oozie-3.3.2-cdh4.3.0目录，在oozie主目录下创建libext目录，把刚才解压的目录下的文件，我的是oozie/oozie-3.3.2-cdh4.3.0/hadooplibs/hadooplib-2.0.0-cdh4.3.0.oozie-3.3.2-cdh4.3.0下的jar包拷贝到libext目录下;再把ext-2.2.zip和mysql的驱动包拷贝到libext目录下。

    5、执行bin/oozie-setup.sh prepare-war -hadoop 2.x hadoop安装目录 -extjs ext-2.2.zip路径这样在oozie-server/webapps目录下将会生成一个oozie.war文件，刚才的ext-2.2也包含在里面了，用于oozie控制台。

    6、解压oozie-sharelib-3.3.2-cdh4.3.0.tar.gz，在oozie主目录下生成share文件夹，拷贝mysql驱动包到该目录下的lib/hive中（hive会用到)，然后把lib下的文件拷到到HDFS的目录/user/${user.name}/share/lib下。

    7、在mysql上创建oozie库，执行bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection 这样将会在oozie库中创建oozie运行需要的表。

    8、执行bin/oozie-start.sh 启动oozie，web控制台访问地址为http://IP:11000/oozie
       通过bin/oozie admin -oozie http://localhost:11000/oozie -status这个命令可以查看oozie的状态

oozie的安装和部署

猜你喜欢