【Flink】Flink调优指南

1.美图

在这里插入图片描述

2. Yarn、Kafka相关配置参数

测试用例中相关必配参数,Flink测试用例中,必须配置yarn和kafka相关参数,才能保证用例正常运行。

yarn.nodemanager.resource.cpu-vcores

一个nodemanager可以使用的cpu-vcores数目,直接配置成1个节点的核数即可。

yarn.nodemanager.numa-awareness.enabled

该参数在yarn配置中默认没有,需要手动添加,将其添加到WEB页面-yarn-配置-全部配置-Nodemanager-自定义下。该参数为是否使能container的numa感知功能,默认为false,如果需要开启,需要设置为true。

yarn.nodemanager.numa-awareness.read-topology

该参数在yarn配置中默认没有,需要手动添加,将其添加到WEB页面-yarn-配置-全部配置-Nodemanager-自定义下。该参数为是否从系统或配置中读取numa的topo结构。如果设置为true,那么会直接通过numactl –hardware命令从系统中读取系统的numa 结构。Flink测试需要开启numa绑核则设置为true。

kafka.num.network.threads

kafka网络线程数,影响kafka读写效率。当数据量低的时候,该参数的修改,对k

猜你喜欢

转载自blog.csdn.net/qq_21383435/article/details/105524743