MySql8连接数配置及自测程序

一、问题提出及解决

某试点现场，测试人员反馈，连接数据库失败，日志出现too many connections。由于数据库是我用docker部署的，且时间紧急，需立即响应，经询问，版本、配置与其它试点无差别，只是新试点多了一些连接的微服务。

经查，可以在容器启动时添加连接参数解决，如下：

command: ['mysqld', '--max-connections=1024', ‘其它参数’]

为不影响上线，当时提供修改后的配置给测试人员，修改后测试正常。由于这块暂时没有研究到，所以有了本文。

二、服务器设置

2.1 数据库服务

docker-compose.yml 文件：

version: '2'

services:
  ttmysql:
    image: mysql:8.0
    container_name: llmysql
    restart: always
    command: ['mysqld', '--character-set-server=utf8mb4', '--collation-server=utf8mb4_unicode_ci', '--explicit_defaults_for_timestamp=false', '--lower_case_table_names=1', '--default_authentication_plugin=mysql_native_password']  ## , '--skip-ssl'
    volumes:
        - ./mysqldata:/var/lib/mysql
    environment:
        - TZ=Asia/Shanghai
        - MYSQL_ROOT_PASSWORD=123456
        - MYSQL_USER=latelee
        - MYSQL_PASSWORD=123456
    ports:
        - "43306:3306"
    networks:
      - mysql-net

networks:
  mysql-net:
    driver: bridge
~

为简单起见，数据库的root用户密码为123456。

启动：

docker-compose up -d

2.2 配置文件分析

进入容器：

docker exec -it llmysql bash

查看默认配置文件：

# cat /etc/mysql/my.cnf

[mysqld]
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
datadir         = /var/lib/mysql
secure-file-priv= NULL

# Custom config should go here
!includedir /etc/mysql/conf.d/

可以看到，自定义的配置文件应放置于/etc/mysql/conf.d/目录。查看之：

# ls /etc/mysql/conf.d/
docker.cnf  mysql.cnf

其中，/etc/mysql/conf.d/mysql.cnf 文件无实质内容。

对于容器部署的情形，可以将自定义配置文件挂载到上述目录，示例如下：

volumes:
    - ./mysqldata:/var/lib/mysql
    - ./my.cnf:/etc/mysql/conf.d/my.cnf

2.3 参数配置说明

由官方文档知，对于系统变量（server-system-variables），既可以通过命令行参数的形式传递，也可以通过配置文件的形式。从笔者经验看，如大部分使用默认配置，只改动个别参数，则前者较好，但后者定制能力强，适用于高阶应用。

如设置最大连接数，可在my.cnf文件做如下修改：

[mysqld]
max_connections=1000

也可用命令行方式，参数如下：

command: ['mysqld', '--max-connections=1024', ‘其它参数’]

注意，两者同时存在时，经测试，命令行方式优先级最高。

三、客户端测试

3.1 连接数据库

使用如下命令连接数据库：

 mysql -h 127.0.0.1 -P 43306 -uroot -p123456 --ssl-mode=DISABLED
 
临时 创建test数据库：
 create database test;

3.2 查询状态

最大连接数

使用如下命令查询mysql服务器的最大连接数：

show variables like '%max_connections%';

连接及查询输出日志：

$ mysql -h 127.0.0.1 -P 43306 -uroot -p123456 --ssl-mode=DISABLED
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 216676
Server version: 8.0.21 MySQL Community Server - GPL

Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show variables like '%max_connections%';
+------------------------+-------+
| Variable_name          | Value |
+------------------------+-------+
| max_connections        | 151   |
| mysqlx_max_connections | 100   |
+------------------------+-------+
2 rows in set (3.08 sec)

可以看到，默认最大连接数为151。据官方文档，max_connections值范围为1~100000。

服务器响应的连接数

max_used_connections：

show global status like 'max_used_connections';

输出示例：

mysql> show global status like 'max_used_connections';
+----------------------+-------+
| Variable_name        | Value |
+----------------------+-------+
| Max_used_connections | 1     |
+----------------------+-------+
1 row in set (0.00 sec)

当前连接数

SHOW STATUS LIKE 'Threads%';

输出示例：

mysql> SHOW STATUS LIKE 'Threads%';
+-------------------+-------+
| Variable_name     | Value |
+-------------------+-------+
| Threads_cached    | 0     |
| Threads_connected | 1     |
| Threads_created   | 1     |
| Threads_running   | 2     |
+-------------------+-------+
4 rows in set (0.00 sec)

当前连接信息

SHOW PROCESSLIST;

输出示例：

SHOW PROCESSLIST;
+----+-----------------+---------------------+------+---------+------+------------------------+------------------+
| Id | User            | Host                | db   | Command | Time | State                  | Info             |
+----+-----------------+---------------------+------+---------+------+------------------------+------------------+
|  5 | event_scheduler | localhost           | NULL | Daemon  |   80 | Waiting on empty queue | NULL             |
|  8 | root            | 192.168.144.1:44052 | NULL | Query   |    0 | init                   | SHOW PROCESSLIST |
+----+-----------------+---------------------+------+---------+------+------------------------+------------------+
2 rows in set (0.00 sec)

说明：因无其它连接，所以实际连接数为1，执行的命令为SHOW PROCESSLIST。

max_used_connections / max_connections * 100%（理想值≈ 85%）
如果max_used_connections跟max_connections相同，那么就是max_connections设置过低或者超过服务器负载上限了，低于10%则设置过大。

3.3 自测程序连接

本节使用golang编写程序进行连接测试，再查询服务端的连接信息。

数据库相关封闭代码如下：

package main

import (
	"context"
	"database/sql"
	"fmt"
	"strings"
	"time"

	"errors"
	"os"

	// 导入mysql驱动
	_ "github.com/denisenkom/go-mssqldb"
	_ "github.com/go-sql-driver/mysql"

	// _ "github.com/mattn/go-oci8"
	_ "github.com/mattn/go-sqlite3"
)

const (
	SQL_TIMEOUT_S = 10 // 连接超时时间 10 秒
)

// 根据传入参数解析
func CreateSQLDb(dbstr string) (SQLDB *sql.DB, DBType string) {
	fmt.Println("connecting db...")
	var err error

	if len(dbstr) == 0 {
		fmt.Println("sql string is empty")
		os.Exit(0)
	}
	if strings.Contains(dbstr, "encrypt=disable") == true {
		SQLDB, err = CreateSqlServer(dbstr)
		DBType = "sqlserver"
	} else if strings.Contains(dbstr, "@tcp") == true {
		SQLDB, err = CreateMysql(dbstr)
		DBType = "mysql"
	} else if strings.Contains(strings.ToUpper(dbstr), "DB3") == true {
		SQLDB, err = CreateSqlite3(dbstr)
		DBType = "sqlite"
	} else {
		fmt.Printf("dbstr %v not support\n", dbstr)
		os.Exit(0)
	}

	/*
		else if strings.Contains(dbstr, "latelee_pdb") == true ||
			strings.Contains(dbstr, "ORCLCDB") == true {
			SQLDB, err = db.CreateOracle(dbstr)
			DBType = "oracle"
		}
	*/
	if err != nil {
		fmt.Println("connect db error: ", err)
	}

	return
}

/

func IsExist(path string) bool {
	_, err := os.Stat(path)
	return err == nil || os.IsExist(err)
}

func CreateSqlServer(dbstr string) (sqldb *sql.DB, err error) {
	connCh := make(chan int)
	timeoutCtx, cancel := context.WithTimeout(context.Background(), time.Second*SQL_TIMEOUT_S)
	defer cancel()

	go func() {
		sqldb, err = sql.Open("mssql", dbstr)
		if err != nil {
			err = errors.New("open database failed: " + err.Error())
			connCh <- -1
			return
		}
		// Open不一定会连接数据库，Ping可能会连接
		err = sqldb.Ping()
		if err != nil {
			err = errors.New("connect database failed: " + err.Error())
			connCh <- -1
			return
		}
		connCh <- 0
	}()

	select {
	case <-timeoutCtx.Done():
		sqldb = nil
		err = errors.New("connect to sqlserver timeout")
	case ret := <-connCh:
		if ret == 0 {
			fmt.Println("connect to sqlserver ok")
			err = nil
		}
	}
	return
}

func CreateMysql(dbstr string) (sqldb *sql.DB, err error) {
	connCh := make(chan int)
	timeoutCtx, cancel := context.WithTimeout(context.Background(), time.Second*SQL_TIMEOUT_S)
	defer cancel()

	go func() {
		sqldb, err = sql.Open("mysql", dbstr)
		if err != nil {
			err = errors.New("open database failed: " + err.Error())
			connCh <- -1
			return
		}
		err = sqldb.Ping()
		if err != nil {
			err = errors.New("connect database failed: " + err.Error())
			connCh <- -1
			return
		}
		connCh <- 0
	}()

	select {
	case <-timeoutCtx.Done():
		sqldb = nil
		err = errors.New("connect to mysql timeout")
	case ret := <-connCh:
		if ret == 0 {
			fmt.Println("connect to mysql ok")
			err = nil
		}
	}

	return
}

func CreateSqlite3(dbname string) (sqldb *sql.DB, err error) {
	if !IsExist(dbname) {
		return nil, errors.New("open database failed: " + dbname + " not found")
	}
	sqldb, err = sql.Open("sqlite3", dbname)
	if err != nil {
		return nil, errors.New("open database failed: " + err.Error())
	}
	err = sqldb.Ping()
	if err != nil {
		return nil, errors.New("connect database failed: " + err.Error())
	}
	fmt.Println("connect to ", dbname, "ok")

	return
}

// note：暂时不使用oracle
func CreateOracle(dbstr string) (sqldb *sql.DB, err error) {
	// connCh := make(chan int)
	// timeoutCtx, cancel := context.WithTimeout(context.Background(), time.Second*SQL_TIMEOUT_S)
	// defer cancel()

	// go func() {
	// 	sqldb, err = sql.Open("oci8", dbstr)
	// 	if err != nil {
	// 		err = errors.New("open database failed: " + err.Error())
	// 		connCh <- -1
	// 		return
	// 	}
	// 	err = sqldb.Ping()
	// 	if err != nil {
	// 		err = errors.New("connect database failed: " + err.Error())
	// 		connCh <- -1
	// 		return
	// 	}
	// 	connCh <- 0
	// }()
	// // log.Println("connect to ", dbParam.server, dbParam.database, "ok")

	// select {
	// case <-timeoutCtx.Done():
	// 	sqldb = nil
	// 	err = errors.New("connect to oracle timeout")
	// case ret := <-connCh:
	// 	if ret == 0 {
	// 		fmt.Println("connect to oracle ok")
	// 		err = nil
	// 	}
	// }

	return
}

主程序如下：

package main

import (
	"database/sql"
	"fmt"
	"os"
)



var SQLDB *sql.DB // 默认以此为准
var DBType string

var ConfDBServer string = "root:123456@tcp(10.0.153.12:43306)/test?charset=utf8&interpolateParams=true&parseTime=true&loc=Local"

func initDB(dbfile string) {
	SQLDB, DBType = CreateSQLDb(ConfDBServer)
	if SQLDB == nil {
		os.Exit(0)
	}
}

var user_table_sql string = `CREATE TABLE user (
	id bigint(20) NOT NULL,
	email varchar(128) DEFAULT NULL,
	first_name varchar(128) DEFAULT NULL,
	last_name varchar(128) DEFAULT NULL,
	username varchar(128) DEFAULT NULL,
	PRIMARY KEY (id)
   ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
   `

var user_table_sql_1 string = `CREATE TABLE user (
	id bigint(20) NOT NULL,
	email varchar(128) DEFAULT NULL,
	first_name varchar(128) DEFAULT NULL,
	last_name varchar(128) DEFAULT NULL,
	username varchar(128) DEFAULT NULL,
   `
var user_table_sql_3 string = `
	PRIMARY KEY (id)
   ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
   `

/
func createDBTable(sqldb *sql.DB) {
	_, err := sqldb.Exec(user_table_sql)
	if err != nil {
		fmt.Printf("Exec sql failed: [%v] [%v] \n", err, user_table_sql)
	}
}

func createDBTableLong(sqldb *sql.DB) {

	count := 200
	mysql := ""

	for i := 0; i < count; i++ {
		mysql += fmt.Sprintf("username%v int DEFAULT NULL,", i)
	}
	realsql := user_table_sql_1 + mysql + user_table_sql_3

	// fmt.Println("dddd ", realsql)
	// return

	_, err := sqldb.Exec(realsql)
	if err != nil {
		fmt.Printf("Exec sql failed: [%v] [%v] \n", err, realsql)
	}

	for {
	// 死循环查询连接数
	}
}

func main() {
	fmt.Println("db test...")

	initDB(ConfDBServer)

	createDBTableLong(SQLDB)
}

在服务库中查询当前连接数：

mysql> SHOW PROCESSLIST;
+----+-----------------+---------------------+------+---------+------+------------------------+------------------+
| Id | User            | Host                | db   | Command | Time | State                  | Info             |
+----+-----------------+---------------------+------+---------+------+------------------------+------------------+
|  5 | event_scheduler | localhost           | NULL | Daemon  | 1529 | Waiting on empty queue | NULL             |
| 11 | root            | 192.168.208.1:49212 | test | Query   |    0 | init                   | SHOW PROCESSLIST |
| 21 | root            | 10.0.11.23:60858    | test | Sleep   |   23 |                        | NULL             |
+----+-----------------+---------------------+------+---------+------+------------------------+------------------+
3 rows in set (0.00 sec)

小结

限于时间，本文仅是开头，后续基于测试程序按需进行各种测试。计划将其作为数据库测试工具，可以用于国产化适配数据库选项，如：客户端库友好性（如上述代码，可直接用于MySQL、TiDB的连接）；数据表支持最大列数量；一列的存储大小；等等。

参考

mysql官方配置说明：https://dev.mysql.com/doc/refman/8.1/en/server-system-variables.html