尚硅谷大数据技术Spark教程-笔记07【Spark内核&源码（环境准备、通信环境、应用程序执行、shuffle、内存管理）】

• 尚硅谷大数据技术-教程-学习路线-笔记汇总表【课程资料下载】
• 视频地址：尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili

1. 尚硅谷大数据技术Spark教程-笔记01【SparkCore（概述、快速上手、运行环境、运行架构）】
2. 尚硅谷大数据技术Spark教程-笔记02【SparkCore（核心编程，RDD-核心属性-执行原理-基础编程-并行度与分区-转换算子）】
3. 尚硅谷大数据技术Spark教程-笔记03【SparkCore（核心编程，RDD-转换算子-案例实操）】
4. 尚硅谷大数据技术Spark教程-笔记04【SparkCore（核心编程，RDD-行动算子-序列化-依赖关系-持久化-分区器-文件读取与保存）】
5. 尚硅谷大数据技术Spark教程-笔记05【SparkCore（核心编程，累加器、广播变量）】
6. 尚硅谷大数据技术Spark教程-笔记06【SparkCore（案例实操，电商网站）】
7. 尚硅谷大数据技术Spark教程-笔记07【Spark内核&源码（环境准备、通信环境、应用程序执行、shuffle、内存管理）】
8. 尚硅谷大数据技术Spark教程-笔记08【SparkSQL（介绍、特点、数据模型、核心编程、案例实操、总结）】
9. 尚硅谷大数据技术Spark教程-笔记09【SparkStreaming（概念、入门、DStream入门、案例实操、总结）】

目录

尚硅谷大数据技术Spark教程-笔记07【Spark内核&源码（）】

00【总体介绍】

P128【128.尚硅谷_Spark内核 & 源码 - 总体介绍】05:38

01【环境准备】

P129【129.尚硅谷_Spark内核 & 源码 - 环境准备 - SparkSubmit - 起点】06:30

P130【130.尚硅谷_Spark内核 & 源码 - 环境准备 - SparkSubmit - 向Yarn提交应用】13:28

P131【131.尚硅谷_Spark内核 & 源码 - 环境准备 - SparkSubmit - 启动ApplicationMaster】14:20

P132【132.尚硅谷_Spark内核 & 源码 - 环境准备 - ApplicationMaster - 启动Driver线程】10:21

P133【133.尚硅谷_Spark内核 & 源码 - 环境准备 - ApplicationMaster - 启动Executor进程】15:23

P134【134.尚硅谷_Spark内核 & 源码 - 环境准备 - ExecutorBackend - 创建Executor计算对象】17:30

P135【135.尚硅谷_Spark内核 & 源码 - 环境准备 - 流程梳理】10:30

02【通信环境】

P136【136.尚硅谷_Spark内核 & 源码 - 通信环境 - 通信原理】07:56

P137【137.尚硅谷_Spark内核 & 源码 - 通信环境 - 通信组件】12:44

P138【138.尚硅谷_Spark内核 & 源码 - 通信环境 - 课件梳理】04:22

03【应用程序的执行】

P139【139.尚硅谷_Spark内核 & 源码 - 应用程序执行 - 上下文对象SparkContext】07:23

P140【140.尚硅谷_Spark内核 & 源码 - 应用程序执行 - RDD依赖关系】07:27

P141【141.尚硅谷_Spark内核 & 源码 - 应用程序执行 - 阶段的划分】13:45

P142【142.尚硅谷_Spark内核 & 源码 - 应用程序执行 - 任务的切分】06:13

P143【143.尚硅谷_Spark内核 & 源码 - 应用程序执行 - 任务的调度】16:52

P144【144.尚硅谷_Spark内核 & 源码 - 应用程序执行 - 任务的执行】05:07

P145【145.尚硅谷_Spark内核 & 源码 - 应用程序执行 - 课件梳理】06:22

04【shuffle】

P146【146.尚硅谷_Spark内核 & 源码 - shuffle - 原理回顾】07:04

P147【147.尚硅谷_Spark内核 & 源码 - shuffle - 图解】12:19

P148【148.尚硅谷_Spark内核 & 源码 - shuffle - 实现过程】08:16

P149【149.尚硅谷_Spark内核 & 源码 - shuffle - 写流程源码解读】15:47

P150【150.尚硅谷_Spark内核 & 源码 - shuffle - 归并排序和读流程】16:20

P151【151.尚硅谷_Spark内核 & 源码 - shuffle - 课件梳理】05:56

05【内存的管理】

P152【152.尚硅谷_Spark内核 & 源码 - 内存管理】18:51

---

尚硅谷大数据技术Spark教程-笔记07【Spark内核&源码（）】

00【总体介绍】

P128【128.尚硅谷_Spark内核 & 源码 - 总体介绍】05:38

1. 环境准备（Yarn集群)
   1. Driver，Executor
2. 组件通信
   1. Driver => Executor
   2. Executor => Driver
   3. Executor => Executor
3. 应用程序的执行
   1. RDD依赖
   2. 阶段的划分
   3. 任务的切分
   4. 任务的调度
4. Shuffle
   1. Shuffle的原理和执行过程
   2. Shuffle写磁盘
   3. Shuffle读取磁盘
5. 内存的管理
   1. 内存的分类
   2. 内存的配置

01【环境准备】

P129【129.尚硅谷_Spark内核 & 源码 - 环境准备 - SparkSubmit - 起点】06:30

spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_2.12-3.0.0.jar 10

java org.apache.spark.deploy.SparkSubmit

java HelloWorld

JVM=>Process (SparkSubmit)

SparkSubmit.main

jps

P130【130.尚硅谷_Spark内核 & 源码 - 环境准备 - SparkSubmit - 向Yarn提交应用】13:28

//准备提交环境
(childArgs, childClasspath, sparkConf, childMainClass) = prepareSubmitEnvironment(args)
childMainClass = org.apache.spark.deploy.yarn.YarnClusterApplication

P131【131.尚硅谷_Spark内核 & 源码 - 环境准备 - SparkSubmit - 启动ApplicationMaster】14:20

P132【132.尚硅谷_Spark内核 & 源码 - 环境准备 - ApplicationMaster - 启动Driver线程】10:21

P133【133.尚硅谷_Spark内核 & 源码 - 环境准备 - ApplicationMaster - 启动Executor进程】15:23

P134【134.尚硅谷_Spark内核 & 源码 - 环境准备 - ExecutorBackend - 创建Executor计算对象】17:30

P135【135.尚硅谷_Spark内核 & 源码 - 环境准备 - 流程梳理】10:30

01_尚硅谷大数据技术之SparkCore.pdf

第1章  Spark概述

04_尚硅谷大数据技术之Spark内核.pdf

2.2 Standalone模式运行机制

02【通信环境】

P136【136.尚硅谷_Spark内核 & 源码 - 通信环境 - 通信原理】07:56

组件通信

P137【137.尚硅谷_Spark内核 & 源码 - 通信环境 - 通信组件】12:44

P138【138.尚硅谷_Spark内核 & 源码 - 通信环境 - 课件梳理】04:22

04_尚硅谷大数据技术之Spark内核.pdf

第 3 章 Spark 通讯架构

3.1 Spark 通信架构概述

03【应用程序的执行】

P139【139.尚硅谷_Spark内核 & 源码 - 应用程序执行 - 上下文对象SparkContext】07:23

P140【140.尚硅谷_Spark内核 & 源码 - 应用程序执行 - RDD依赖关系】07:27

P141【141.尚硅谷_Spark内核 & 源码 - 应用程序执行 - 阶段的划分】13:45

 

P142【142.尚硅谷_Spark内核 & 源码 - 应用程序执行 - 任务的切分】06:13

P143【143.尚硅谷_Spark内核 & 源码 - 应用程序执行 - 任务的调度】16:52

1. 环境准备（Yarn集群)
   1. Driver，Executor
2. 组件通信
   1. Driver => Executor
   2. Executor => Driver
   3. Executor => Executor
3. 应用程序的执行
   1. RDD依赖
   2. 阶段的划分
   3. 任务的切分
   4. 任务的调度
4. Shuffle
   1. Shuffle的原理和执行过程
   2. Shuffle写磁盘
   3. Shuffle读取磁盘
5. 内存的管理
   1. 内存的分类
   2. 内存的配置

P144【144.尚硅谷_Spark内核 & 源码 - 应用程序执行 - 任务的执行】05:07

P145【145.尚硅谷_Spark内核 & 源码 - 应用程序执行 - 课件梳理】06:22

04_尚硅谷大数据技术之Spark内核.pdf

第 4 章 Spark任务调度机制

04【shuffle】

P146【146.尚硅谷_Spark内核 & 源码 - shuffle - 原理回顾】07:04

P147【147.尚硅谷_Spark内核 & 源码 - shuffle - 图解】12:19

 

 

P148【148.尚硅谷_Spark内核 & 源码 - shuffle - 实现过程】08:16

P149【149.尚硅谷_Spark内核 & 源码 - shuffle - 写流程源码解读】15:47

P150【150.尚硅谷_Spark内核 & 源码 - shuffle - 归并排序和读流程】16:20

P151【151.尚硅谷_Spark内核 & 源码 - shuffle - 课件梳理】05:56

04_尚硅谷大数据技术之Spark内核.pdf

5.1.1 ShuffleMapStage与ResultStage

05【内存的管理】

P152【152.尚硅谷_Spark内核 & 源码 - 内存管理】18:51