1、CDH版本调研和相应依赖整理
综述
一般组件版本管理工具包含两种方式，第一种ambari 第二种为cloudra 两种各有优缺点，但立足公司实际情况，需要一种相对来说，比较稳定，并且易于管理监控更加方便，一般不用二次开发的集群。并且cloudera相对ambari市场占有率比较大解决方案相对比较成熟。因此决定采用cloudera manager 去监控管理公司的集群。
版本选择
Cloudera于2018年8月30日正式发布CDH6.0.0，CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本，许多用户考虑到未来CDH的版本主要是基于CDH6，而CDH5会慢慢的停止更新并且cloudera 官宣几年之后将不在支持5，所以考虑新搭集群使用CDH6。第一个问题就是需要考虑CDH5和CDH6的差别，从各个方面详细比较CDH5和CDH6的差别，以下内容主要基于最新的CDH5最新版本和CDH6进行比较。
1、操作系统选择区别
2、底层数据库支持
3、jdk 不同版本支持情况
4、cdh 不同版本的支持的hadoop版本
参考：https://mp.weixin.qq.com/s?__biz=MzI4OTY3MTUyNg==&mid=2247495158&idx=1&sn=db40f26a2b939699c01760a662b4986d&chksm=ec293dffdb5eb4e9e1e0d782caeee73703ad29d1c8b6d2c89951e186420021eb629fb5bc5252&scene=21#wechat_redirect
参考：
https://mp.weixin.qq.com/s?__biz=MzI4OTY3MTUyNg==&mid=2247495280&idx=1&sn=e1d09b47cc18a2d6e862d21501b44475&chksm=ec293e79db5eb76f6267a8ac4309b920e291f2f5c792eb02a64feec6af72892d625fdf4c1085&scene=21#wechat_redirect
注意：在以前的集群的搭建过程种发现flink 对hadoop 3.0支持的版本不好,经过调研cdh6 已经提供了对flink编译安装的支持
参考：https://blog.csdn.net/kwame211/article/details/104690955
注意：druid在调研过程中没有网上没有出现和cdh集成出现的错误（暂时任务druid和cdh不会出现兼容情况）
暂定版本 cdh6.2.1（具体安装请参考字节的安装文档）
flink 版本安装参考采用： https://blog.csdn.net/kwame211/article/details/104690955
druid 安装参考: https://blog.csdn.net/wangshuminjava/article/details/81772695
注意过程中因为使用一下命令初始化版本依赖总是下载不下来。所以采用一种自己替换相关依赖包的问题
Hadoop集群版本必须和Druid.io中版本同一，可以通过pull-deps下载相同hadoop-dependencies版本,e.g. :
java -classpath "lib/*" io.druid.cli.Main tools pull-deps --defaultVersion 0.9.1.1 -c io.druid.extensions:mysql-metadata-storage:0.9.1.1 -c druid-hdfs-storage -h org.apache.hadoop:hadoop-client:2.6.0