| 内存 | 核数 | 磁盘内存 |
| 512G | 128C | 1T |
num_executor(instance) 、executor_cores、executor_memory应该如何配置？
优化公式：
根据经验：单个执行器核数应为1,2,4（最大不超过4）
假设单个执行器核数为4（根据实际情况调整）；
则单机执行器（executor_memory）的数值最大只能配置为：51
spark性能调优:执行器内存(executor_memory)、执行器个数(num_executor)、执行器核数(executor_cores)
猜你喜欢
转载自blog.csdn.net/lukabruce/article/details/125659815
今日推荐
周排行