大数据生态圈辅助工具(汇总)

在一个完整的离线大数据处理系统中,除了hdfs+mapreduce+hive组成分析系统的核心之外,还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统,而这些辅助工具在hadoop生态体系中都有便捷的开源框架,如图所示:

在这里插入图片描述

工具: impala 、 sqoop、Flume、azkaban、Oozie、Hue

一 impala

1.impala的介绍及与hive的关系

2.Impala安装部署

3.impala-shell命令参数

4.impala sql语法

5.Impala数据导入方式

6.Impala的java开发

二 sqoop

1.sqoop数据迁移 - 安装介绍

2.Sqoop导入

3.Sqoop导出

4.Sqoop job作业

三 Flume

1.日志采集框架Flume-介绍及安装

2.Flume简单案例的实现(完整)

3.Flume负责均衡和容错(load-balance、failover)

4.Flume拦截器实战案例

5.Flume自定义拦截器

6.Flume高阶自定义组件

四 azkaban

1.工作流介绍

2.Azkaban调度器介绍

3.Azkaban源码编译

4.Azkaban安装部署(附资源)

5.Azkaban使用实战(附资料)

1.Apache Oozie介绍

2.Apache Oozie安装(附资源)

3.Apache Oozie实战

六 Hue

1.Apache Hue介绍

2.Hue的编译安装

3.Hue与软件的集成

发布了107 篇原创文章 · 获赞 20 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/beishanyingluo/article/details/105319712