Spark empuja el número a mysql y mysql informa un error a muchas conexiones

Esto se debe a que Spark crea demasiadas conexiones cuando envía números a mysql y la conexión está llena.
1. Aumente la conexión (no agregue demasiado, demasiado puede afectar el rendimiento)

//查看最大连接数
SHOW VARIABLES LIKE '%max_connections%';
//设置最大连接数
SET GLOBAL max_connections = 300;

2. Reducir la partición de chispa

spark.default.parallelism=100 
spark.sql.shuffle.partitions=100

Supongo que te gusta

Origin blog.csdn.net/weixin_45580378/article/details/129296545
Recomendado
Clasificación