课程大纲
第一阶段：大数据spark入门介绍
第一课：大数据入门概述
知识点1： 大数据技术发展史
知识点2： 大数据的应用以及未来
知识点3： hadoop生态圈介绍
知识点4： hadoop框架演变与发展
知识点5： 大数据存储系统hdfs原理解析
知识点6： map-reduce原理解析
知识点7： 分布式资源管理yarn原理解析
实战项目： 基于yarn的mr作业开发实战
第二课：spark技术栈发展概述
知识点1： spark的前世今生
知识点2： spark1.X 技术栈概述
知识点3： spark2.4 技术栈概述
知识点4： spark3.0以及未来的展望
知识点5： spark在大公司的应用
实战项目： 运行一个spark程序
第三课：spark应用开发与API介绍
知识点1： spark 核心概念讲解
知识点2： rdd的分区与依赖
知识点3： rdd API中的transformation讲解
知识点4： rdd API中的action讲解
实战项目： 使用spark rdd进行日志数据分析
第二阶段：spark原理剖析和应用调优
第四课：spark运行模式及原理
知识点1： spark运行模式
知识点2： spark执行过程讲解
知识点3： spark rdd内部原理详解
知识点4： spark广播变量与累加器讲解
实战项目： 利用广播变量实现推荐系统中的用户信息编码
第五课：spark集群应用与优化分析
知识点1： spark web ui讲解
知识点2： spark应用监控与分析
知识点3： spark history server原理剖析
知识点4： spark metrics 监控
实战项目： spark history server搭建部署
实战项目： 从监控入手进行日志查错与优化
第六课：spark core核心讲解
知识点1： spark shuffle三种模式详解
知识点2： spark内存管理剖析
知识点3： spark应用资源管理
知识点4： spark rdd存储管理
实战项目： 重构并优化现有的spark应用
第七课：spark性能调优
知识点1： spark开发调优
知识点2： spark资源调优
知识点3： spark数据倾斜调优
知识点4： spark内存管理调优
实战项目： spark shuffle调优代码案例
第三阶段：spark即席查询与流式计算讲解
第八课：spark sql讲解
知识点1： spark sql 发展史
知识点2： spark sql 1.X 与 2.X
知识点3： spark sql 运行原理分析
知识点4： spark sql 逻辑计划原理讲解
知识点5： spark sql 物理计划原理讲解
知识点6： dataset与dataframe讲解
知识点7： spark sql 自定义注册函数udf开发
知识点8： spark thrift server讲解
实战项目： 基于spark sql 2.4.0 的王者荣耀英雄分析
第九课：流式计算简介及spark streaming
知识点1： spark streaming | storm | flink | structured streaming 全面对比
知识点2： 消息队列kafka，rocket mq实用解析
知识点3： spark streaming运行原理
知识点4： spark streaming高层抽象dstream
知识点5： structured streaming运行原理简介
实战项目： 代码实现实时日志数据读取与统计
第十课：实时计算平台（设计与实战）
知识点1： 实时大数据架构简介（kudu，druid，couchbase）
知识点2： 实时计算平台架构设计及选型方法
知识点3： 实时计算实践难点剖析，高qps及性能瓶颈分析
实战项目： 实时日志统计平台设计
第四阶段：spark图计算与机器学习高阶应用
第十一课：spark图计算讲解及mlib
知识点1： 属性图的介绍
知识点2： edge、vertex、triplet介绍与创建
知识点3： 属性图的操作
知识点4： 图算法介绍
知识点5： spark mlib介绍
实战项目： 图的调优
第十二课 推荐系统实战
知识点1： 推荐系统的场景，为什么需要推荐系统
知识点2： 推荐系统的流程简介
知识点3： 协同过滤推荐算法
知识点4： youtube推荐系统简介
实战项目： 基于spark mllib的协同过滤推荐
获取方式（备注Spark大数据）
转载于:https://www.jianshu.com/p/a54d32cf2d90