0、MapReduce优化 - 资源相关参数
初学耗时：0.5h
注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。
一、MapReduce优化 - 资源相关参数
1.1 在MapReduce 应用程序中配置。
1.2 在 yarn 启动之前配置。
1.3 在 yarn 启动之前配置。
记忆词：
应用程序中配置、Yarn启动之前配置
一、MapReduce优化 - 资源相关参数
1.1 ~ 在MapReduce 应用程序中配置。
以下参数是在用户自己的 MapReduce 应用程序中配置就可以生效。
1.1.1 . mapreduce.map.memory.mb
- 一个 Map Task 可使用的内存上限（单位:MB），默认为 1024。
- 如果 Map Task 实际使用的资源量超过该值，则会被强制杀死。
1.1.2 . mapreduce.reduce.memory.mb
- 一个 Reduce Task 可使用的资源上限（单位:MB），默认
为 1024。
如果 Reduce Task 实际使用的资源量超过该值，则会被强制杀死。
1.1.3 . mapreduce.map.cpu.vcores
- 每个 Maptask 可用的最多 cpu core 数目, 默认值: 1
1.1.4 . mapreduce.reduce.cpu.vcores
- 每个 Reducetask 可用最多 cpu core 数目默认值: 1
1.1.5 . mapreduce.map.java.opts
- Map Task 的 JVM 参数，你可以在此配置默认的 java heap size 等参数。
- 例如：“-Xmx1024m -verbose:gc -Xloggc:/tmp/@[email protected]”
（@taskid@会被 Hadoop 框架自动换为相应的 taskid）, 默认值: “”
1.1.6 . mapreduce.reduce.java.opts
- Reduce Task 的 JVM 参数，你可以在此配置默认的 java heap size 等参数。
- 例如：“-Xmx1024m -verbose:gc -Xloggc:/tmp/@[email protected]”, 默认值: “”
1.2 ~ 在 yarn 启动之前配置。
应该在 yarn 启动之前就配置在服务器的配置文件中才能生效。
1.2.1 . yarn.scheduler.minimum-allocation-mb
- RM 中每个容器请求的最小配置，以 MB 为单位，默认 1024。
1.2.2 . yarn.scheduler.maximum-allocation-mb
- RM 中每个容器请求的最大分配，以 MB 为单位，默认 8192。
1.2.3 . yarn.scheduler.minimum-allocation-vcores
- 1
1.2.4 . yarn.scheduler.maximum-allocation-vcores
- 32
1.2.5 . yarn.nodemanager.resource.memory-mb
- 表示该节点上 YARN 可使用的物理内存总量，默认是 8192（MB）。
- 注意，如果你的节点内存资源不够 8GB，则需要调减小这个值，而 YARN不会智能的探测节点的物理内存总量。
1.3 ~ 在 yarn 启动之前配置。
shuffle 性能优化的关键参数，应在 yarn 启动之前就配置好。
1.3.1 . mapreduce.task.io.sort.mb
- 100
- shuffle 的环形缓冲区大小，默认 100m
1.3.2 . mapreduce.map.sort.spill.percent
- 0.8
- 环形缓冲区溢出的阈值，默认 80%
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
＾ 至此，MapReduce优化 - 资源相关参数完成。
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
※ 世间诱惑何其多，坚定始终不动摇。
SQL中，表结构的修改命令是________。
…
ALTER TABLE <基本表名> ADD <列名> <类型>
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。
我知道我的不足，我也知道你的挑剔，但我就是我，不一样的烟火，谢谢你的指指点点，造就了我的点点滴滴：）！