Oozie环境搭建
编译
编译需要占用很大的内存，只创建一个app-11即可。
1、以hadoop用户登录。
命令：su – hadoop
2、在tmp目录下创建Oozie编译文件。
命令：mkdir /tmp/oozie
3、进入tmp根目录下。
命令：cd /tmp/
4、下载Spark-stack。
命令：git clone https://github.com/haiye1018/Spark-stack.git
5、进入Spark-stack/Oozie/目录下。
命令：cd Spark-stack/Oozie/
6、将buildOozie目录下的文件拷贝到Oozie编译文件中。
命令：cp buildOozie/* /tmp/oozie/
7、进入Oozie编译目录下。
命令：cd /tmp/oozie/
8、下载Oozie编译包。
命令：wget https://archive.apache.org/dist/oozie/5.0.0/oozie-5.0.0.tar.gz
9、解压。
命令：tar -xf oozie-5.0.0.tar.gz
10、 命令：rm -rf oozie-5.0.0/pom.xml
11、将下载的pom.xml拷贝到oozie-5.0.0目录下。
命令：cp pom.xml oozie-5.0.0/
12、创建Maven仓库。
命令：
mkdir -p /home/hadoop/.m2/repository/org/apache/maven/doxia/doxia-core/1.0-alpha-9.2y
mkdir -p /home/hadoop/.m2/repository/org/apache/maven/doxia/doxia-module-twiki/1.0-alpha-9.2y
13、将doxia-module-twiki-1.0-alpha-9.2y.jar拷贝到相应的Maven仓库下。
命令：cp doxia-module-twiki-1.0-alpha-9.2y.jar /home/hadoop/.m2/repository/org/apache/maven/doxia/doxia-module-twiki/1.0-alpha-9.2y/
14、将doxia-core-1.0-alpha-9.2y.jar拷贝到相应的Maven仓库下。
命令：cp doxia-core-1.0-alpha-9.2y.jar /home/hadoop/.m2/repository/org/apache/maven/doxia/doxia-core/1.0-alpha-9.2y
15、进入oozie-5.0.0文件下。
命令：cd oozie-5.0.0
16、开始编译。
命令：bin/mkdistro.sh -DskipTests -Dtez.version=0.9.0 -Ptez -P'spark-2' -Puber注：编译的时间会非常长。
17、有两个安装包，一个在/tmp/oozie/oozie-5.0.0/distro/target/目录下。
命令：cd /tmp/oozie/oozie-5.0.0/distro/target/
18、另一个在安装包在/tmp/oozie/oozie-5.0.0/sharelib/target/目录下。
命令：cd /tmp/oozie/oozie-5.0.0/sharelib/target/
制作sharelib
启动集群
1、创建app-12和app-13。
2、在app-11上以root用户登录。
命令：sudo /bin/bash
3、进入hadoop根目录下。
命令：cd /hadoop/
4、三台机器的认证。
命令：./initHosts.sh
5、以hadoop用户登录。
命令：su - hadoop
6、进入hadoop根目录下。
命令：cd /hadoop/
7、启动集群。
命令：./startAll.sh
创建hive库
8、创建Oozie的目录。
命令：mkdir /tmp/Oozie
9、将编译之后的两个安装包拷贝到该目录下。
命令：cp /tmp/oozie/oozie-5.0.0/sharelib/target/oozie-sharelib-5.0.0.tar.gz /tmp/Oozie/
cp /tmp/oozie/oozie-5.0.0/distro/target/oozie-5.0.0-distro.tar.gz /tmp/Oozie/
10、进入Oozie目录下。
命令：cd /tmp/Oozie/
11、解压oozie-sharelib-5.0.0.tar.gz。
命令：tar -xf oozie-sharelib-5.0.0.tar.gz
12、进入lib目录下。
命令：cd share/、cd lib/
13、删除hive。
命令：rm -rf hive
14、进入hive2目录下。
命令：cd hive2/
15、将oozie-sharelib-hive2-5.0.0.jar备份到上级目录中。
命令：mv oozie-sharelib-hive2-5.0.0.jar ..
16、返回上级目录。
命令：cd ..
17、删除hive2目录下的文件。
命令：rm -rf hive2/*
18、将备份出来的jar文件移回hive2。
命令：mv oozie-sharelib-hive2-5.0.0.jar hive2/
19、将hive的master中的所有jar包拷贝到hive2中。
命令：scp app-12:/hadoop/Hive/apache-hive-3.1.1-bin/lib/* hive2/
20、查看hive2。
命令：ls hive2/
创建Spark库
21、创建存放spark的文件。
命令：mkdir spark2
22、将spark目录下的oozie-sharelib-spark-5.0.0.jar拷贝到spark2中。
命令：cp spark/oozie-sharelib-spark-5.0.0.jar spark2
23、将Spark的jar包文件拷贝到spark2中。
命令：cp /hadoop/Spark/spark-2.4.0-bin-hadoop3.1.2/jars/* spark2
24、删除spark目录。
命令：rm -rf spark
25、返回Oozie目录。
命令：cd /tmp/Oozie/
26、解压oozie-5.0.0-distro.tar.gz。
命令：tar -xf oozie-5.0.0-distro.tar.gz
27、进入oozie-5.0.0目录下。
命令：cd oozie-5.0.0
28、删除oozie-sharelib-5.0.0.tar.gz包。
命令：rm -rf oozie-sharelib-5.0.0.tar.gz
29、删除oozie-examples.tar.gz包。
命令：rm -rf oozie-examples.tar.gz
30、将api-util-1.0.0-M20.jar拷贝到spark2中。
命令：cp embedded-oozie-server/webapp/WEB-INF/lib/api-util-1.0.0-M20.jar /tmp/Oozie/share/lib/spark2/注：如果不拷贝在操作中会出现问题。
31、为了支持pyspark，需要交pyspark相关的库拷贝到spark2中。
命令：cp /hadoop/Spark/spark-2.4.0-bin-hadoop3.1.2/python/lib/*.zip /tmp/Oozie/share/lib/spark2/
32、返回上层目录。
命令：cd ..
33、删除原来的压缩文件。
命令：rm -rf *.gz
34、打包文件。
命令：tar -czf oozie-sharelib-5.0.0.tar.gz share/、tar -czf oozie-5.0.0-distro.tar.gz oozie-5.0.0/
安装client和server
在app-11上安装server，server包含了client。可以安装多个client，在app-12和app-13上都可以安装client，但是server只有一个，在app-11上。
下载库
1、在集群的根目录下创建安装Oozie的目录。
命令：mkdir /hadoop/Oozie
2、确保hadoop的配置文件内容齐全。
命令：vi /hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/core-site.xml
注：如果没有需要手动添加，添加之后重启集群。
3、进入Oozie的安装目录下。
命令：cd /hadoop/Oozie/
4、将oozie-5.0.0-distro.tar.gz解压到Oozie安装目录下。
命令：tar -xf /tmp/Oozie/oozie-5.0.0-distro.tar.gz
5、进入解压之后的目录下。
命令：cd oozie-5.0.0/
6、创建web的库。
命令：mkdir libext
7、进入到libext目录下。
命令：cd libext/
8、下载mysql连接器。
命令：wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.11/mysql-connector-java-8.0.11.jar
9、下载java Spring 库。
命令：wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip
修改配置文件
10、进入配置文件。
命令：cd /hadoop/Oozie/oozie-5.0.0/conf/
11、删除oozie-site.xml文件。
命令：rm -rf oozie-site.xml
12、将修改好的配置文件拷贝过来。
命令：cp /tmp/Spark-stack/Oozie/conf/oozie-site.xml ./
13、进入hadoop-conf目录下。
命令：cd hadoop-conf
14、删除hadoop-conf下所有文件。
命令：rm -rf *
15、拷贝hadoop的相应配置文件。
命令：
cp /hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/core-site.xml ./
cp /hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/hdfs-site.xml ./
cp /hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/yarn-site.xml ./
cp /hadoop/Hadoop/hadoop-3.1.2/etc/hadoop/mapred-site.xml ./
配置mysql
1、在app-12上，选择hadoopmysql下的new terminal。
2、启动mysql。
命令：mysql -uroot -p
3、创建databases。
命令：create database oozie;
4、创建用户。
命令：create user "oozie"@"%" identified by "Yhf_1018";
5、给用户赋权限。
命令：grant all privileges on oozie.* to "oozie"@"%" with grant option;
6、flush配置。
命令：flush privileges;
7、退出mysql。
命令：quit;
Sharelib的制作和Oozie启动
1、在app-11上，进入安装Oozie的目录下。
命令：cd /hadoop/Oozie/oozie-5.0.0/
2、创建sharelib。
命令：bin/oozie-setup.sh sharelib create -fs hdfs://dmcluster -locallib /tmp/Oozie/oozie-sharelib-5.0.0.tar.gz
注：将share上传到hdfs。提交信息的时候在/user/hadoop/share/lib/lib_20201105132658位置寻找版本信息sharelib。
3、查看sharelib。
命令：hdfs dfs -ls /user/hadoop/share/lib/lib_20201105132658
4、将mysql-connector-java-8.0.11.jar拷贝到lib目录下。
命令：cp libext/mysql-connector-java-8.0.11.jar lib/
5、初始化databases。
命令：bin/oozie-setup.sh db create -run
注：进行了创建和验证并且生成了一个sql文件。
6、启动Oozie。
命令：bin/oozie-start.sh
7、查看11000端口（Oozie对外访问的端口号）是否启动。
命令：netstat -tnl
注：不要着急查看等待30秒。
8、登录端口号查看。
使用内部的Chrome，输入：app-11：11000 注：现在还没有Oozie任务所以是空的。
9、检验系统里用的是哪个sharelib。
命令：bin/oozie admin -shareliblist
设置自动化启停脚本
1、打开hadoop的config加上Oozie。
命令：vi /hadoop/config.conf export OOZIE_IS_INSTALL=True
2、source环境变量。
命令：source ~/.bashrc
3、确认start.all脚本有Oozie。
命令：vi /hadoop/startAll.sh
注：Oozie在最后，因为它依赖hadoop和Spark。
4、下载Oozie启停脚本。
命令：cp /tmp/Spark-stack/Oozie/sh/* /hadoop/tools/
5、进入hadoo的tools目录下。
命令：cd /hadoop/tools/
6、赋予执行权限。
命令：chmod -R a+x *Oozie*
详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰
