每天10分钟——11.1

1.mapreduce分为哪两个阶段

map和reduce

2.谈谈你对这两个阶段的理解

map进行数据分割,reduce聚合

3.谈谈你对shuffle的理解

洗牌,将相同key值放在一起

4.运行wordcount案例跑在yarn上,你会不?

5.mapreduce job跑在yarn的工作流程,简述

先向yarn提交作业申请一个applicationMaster在某个节点的container上,
然后applicationMaster反向向applicationManager注册,再向ResourceScheduler申请资源,
当拿到资源列表是,ApplicationMaster和相关的NM进行rpc通信要求启动container来运行task

6.谈谈对executor理解

执行器

7.executor是运行在RM节点上吗?

NM

8.APP master是运行在RM节点上吗?

DM

9.一般我们把dn和nm部署在同一节点上,目的是什么

数据本地化

10.yarn常用命令哪些?

可以--hlep查看

11.调度器有哪几种,博客整理了没

先进先出,公平计算

猜你喜欢

转载自blog.csdn.net/weixin_43267534/article/details/83615672