史上最全MySQL架构,助你深度掌握MySQL开发管理,赢在大数据时代

前言

MySQL服务器由SQL层和存储引擎层构成。SQL层主要功能包括权限判断、SQL解析功能和查询缓存处理等,存储引擎层(Storage Engine Layer)完成底层数据库数据存储操作。

MySQL整体架构的SQL层和存储引擎层实际上各自都包含了很多的小模块,各个模块的工作方式如下:

从上图可以看出MySQL各个模块的特点如下:

(1)客户端通过连接/线程处理层来连接MySQL数据库,连接/线程处理层主要用来处理客户端的请求、身份验证和数据库安全性验证等。

(2)查询缓存和查询分析器是SQL层的核心部分,其中主要涉及查询的解析、优化、缓存,以及所有内置的函数,存储过程,触发器,视图等功能。

(3)优化器主要负责存储和获取所有存储在MySQL中的数据。

可以把这三层统称为MySQL数据库的SQL层。

MySQL 各逻辑块简介

MySQL逻辑架构采用SQL层和存储引擎分离的方式,真正实现了数据存储和逻辑业务的分离,MySQL的SQL层从宏观上可以分为三层,事实上SQL层包含了很多的子模块。下面就详细介绍SQL层各个子模块的功能。

1.初始化模块

初始化模块就是在数据库启动的时候,对整个数据库做的一些初始化操作,例如,各种系统环境变量的初始化,各种缓存、存储引擎初始化设置等。

在MySQL初始化过程中,部分系统参数是通过MySQL数据库系统文件设置的。MySQL系统参数可以通过“mysqld -verbose -help” 命令来查看当前系统所有参数的设置。Linux 平台上MySQL数据库读取文件首先会读取/etcmy.cnf文件,该选项主要是用来设置MySQL全局选项,许多初学者在Linux平台上安装MySQL失败就是因为/et/my.cnf的设置是系统默认的错误路径,对于初学者,可以将$MySQL. HOME/support. fles/目录 下面的配置文件复制到/etc/my.cnf中,命令如下:

cp ./support_ files/my_ medium.cnf /etc/my. cnf

MySQL数据库读取完/et/my.cnf之后,接下来会解析SMySQL HOME/my.cnf.在这个过程中,服务器会到MySQL安装目录下面解析数据库的相关配置。MySQL启动初始化接着会解析dealuls-extra-file附带选项,修改该参数可以指定系统配置文件,接下来数据库会解析有关用户的选项。

2.核心API

MySQL数据库核心API主要实现了数据库底层操作的优化功能,其中主要包括IO操作、格式化输出、高性能存储数据结果算法的优化,字符串的处理,其中最重要的是内存管理。

3.网络交互模块

MySQL底层相互交互的模块抽象出接口,对外提供可以接收和发送数据的API接口,其他模块需要交互的时候,可以通过API接口调用。

4.服务器客户端交互协议模块

MySQL服务器采用C/S的形式访问数据库,数据连接使用MySQL CIS交互协议模块,实现了客户端与服务器端交互过程中所需要的一些独特的协议,这些协议都是建立在现有的网络协议之上。

5.用户模块

用户模块主要功能是用于控制用户登录连接的权限和用户的授权管理。

6.访问控制模块

访问控制模块主要用于监控用户的每一-个操作。 访问控制模块实现的功能就是根据用户模块中不同的用户授权,以及根据其数据库的各种约束来控制用户对数据的访问。用户模块和访问控制模块结合起来,就组成了MySQL数据库的权限管理功能。

7.连接管理、连接线程和线程管理

连接管理模块负责监听MySQL Server的各种请求,根据不同的请求,然后转发到线程管理模块,每个客户请求都会被数据库自动分配-一个 独立的线程为其单独服务,而连接线程的主要工作就是负责MySQLServer与客户端通信,线程管理模块负责管理这些生成的线程。

8.转发模块

客户端连接MySQL之后会发送一些查询语句, 在MySQL Server里面,连接线程接收到客户端的一 个请求后,会直接将查询转发到各个对应的处理模块。转发模块主要就是根据查询语句语法分析,然后转发给不同的模块处理。

9.缓存模块

查询缓存模块主要功能是将客户端查询的请求返回的结果集到缓存中,与查询的一一个HASH值对应。在查询的基表发生任何数据变化后,MySQL 会自动将其查询的缓存失效。在读写比例非常高的应用系统中,查询缓存对性能的提高是非常显著的。

10.优化器模块

这个模块主要是将客户端发送的查询请求,在之前算法的基础上分析,计算出一个最优的查询策略,优化之后会提高查询访问的速度,最后根据其最优策略返回查询语句。

11.表变更管理模块

表变更管理模块主要负责完成DML和DDL的查询,例如,insert, update, delete, create,table, alter table等语句的处理。

12.表维护模块

表维护模块主要用于检测表的状态,分析、优化表结构,以及修复表。

13.系统状态管理模块

在客户端请求系统状态的时候,系统状态模块主要负责将各种状态的数据返回给用户。最常用的一-些查询状态的命令包括show satus, show variables等,都是通过这个模块负责返回的。

14.表管理器

表管理器主要就是维护系统生成的表文件。例如,MyISAM存储引擎类型表生成的是fm文件、MYD文件以及MYI文件,表管理器的工作就是维护这些文件,将各个表结构的信息缓存起来,另外该模块还管理表级别的锁。

15.日志记录模块

日志记录模块主要负责整个数据库逻辑层的日志文件,其中包含错误日志,二进制日志,以及慢查询日志等。

16.复制模块

复制模块分为Master 模块和Slave 模块两部分。Master 模块主要负责复制环境中读取Master端的binary日志,以及Slave端的I/0 线程交互等工作。Slave 模块主要有两个线程,一个负责从Master请求和接收binary日志,并写入本地I/0线程:另一个从relay log读取日志事件,然后解析成可以在Slave端执行的命令,然后交给Slave端的SQL线程。

17.存储引擎接口模块

MySQL实现了其数据库底层存储引擎的插件式管理,将各种数据处理高度抽象化。

MySQL 物理文件的组成

MySQL的物理文件包括日志文件、数据文件和其他文件,下 面将详细介绍这些文件的义和作用。

1、日志文件

在MySQL数据库中,日志文件主要记录了数据库操作信息和错误信息。常用的日志文件包括错误日志、二进制日志、查询日志、慢查询日志和InnoDB引擎在线Redo日志等。

(1)错误日志: Error Log

错误日志文件记录了MySQL Server运行过程中遇到的所有严重的错误信息,以及MySQL每次启动和关闭的详细信息。默认情况下错误日志功能是关闭的,启动时要重新配置——og- er(-file_ name]选项,修改错误日志存放的目录和文件名称。

(2)二进制日志: Binary Log

二进制日志文件就是常说的binlog。二进制日志记录了MySQL所有修改数据库的操作,然后以二进制的形式记录在日志文件中,其中还包括每条语句所执行的时间和所消耗的资源,以及相关的事务信息。

默认情况下二进制日志功能是开启的,启动时可以重新配置-log_bin[-file. _name]选项,修改二进制日志存放的目录和文件名称。

(3)查询日志: Query Log

默认的查询日志文件是hostname.log.查询日志记录所有的查询操作,包括所有的select操作信息,体积比较大,开启后对性能有较大的影响,可以通过“--log[-file_ name]" 选项开启。如果需要跟踪某些特殊的SQL性能问题,可以短暂地打开该功能。

(4)慢查询日志: Slow Query Log

慢查询日志是指所有SQL 执行的时间超过long_ query, fime变量的语句和达到min_ _examined_ row_ limit 条距离的语句。用户可以针对这部分语句性能调优。慢查询日志通过

设置--log-slow_ queries[-file_ name]选项开启后,将记录日志所在的路径和名称。MySQL系统默认的慢查询日志的文件名是hostname-slow.log,默认目录也是data目录。查看慢查询日志可以采用mysqldumpslow命令对慢查询日志进行分析。

(5) InoDB引擎在线Redo日志: InnoDB redo Log

InnoDB引擎在线Redo日志记录了InnoDB所做的所有物理变更和事务信息。通过Redo日志和Undo信息,InnoDB 大大地加强了事务的安全性。InnoDB 在线Redo日志默认存放在data目录下面,可以通过设置innodb. _log_ group. home. _dir 选项来更改日志的存放位置,通过innodb. _log_ files. _in. group 选项来设置日志的数量。

2、数据文件

MySQL数据库会在data目录下面建立一个以数据库为名字的文件夹,用来存储数据库中的表文件数据。不同的数据库引擎,每个表的扩展名也不一一样, 例如,MyISAM引擎用“.MYD"作为扩展名,InnoDB 引擎可以用“.ibd”作为扩展名,CSV引擎使用“.csv" 扩展名。

(1). “.frm"文件

无论是哪种存储引擎,创建表之后就一定会生成- 一个以表名命名的“.frm"文件。fm文

件主要存放与表相关的数据信息,主要包括表结构的定义信息。当数据库崩溃时,用户可以通

过fm文件来恢复数据表结构。

(2).“.MYD" 文件

MyISAM存储引擎创建表时,每-一个MyISAM类型的表都会有一个“.MYD”文件与之对应。“MYD"文件主要用来存放数据表的数据文件。

(3)“.MYI" 文件

每一个MyISAM类型的表都会有一个“.MYD"文件和-一个“.MYI"文件,对于MyISAM存储引擎来说,可以被缓存的内容主要就是源于“.MYI”文件中,“.MYI"文件中主要用来存储表数据文件中任何索引的数据树。

(4)“.ibd" 文件和“.ibdata"文件

这两种文件主要是用来存储InnoDB 存储引擎的数据,其中主要包括索引信息。InnoDB存储引擎采用这两种数据文件,主要是因为InnoDB存储引擎的存储方式能够通过配置来决定是采用共享表空间,还是采用独享表空间的存储方式存储数据。

如果采用共享表空间的方式存储数据,则会采用ibdata文件来存储,所有的表共同使用一个或者多个ibdata 文件。如果采用独享表空间的方式存储数据,则会采用ibd文件来存储。

共享表空间存储通过innodb _data. home. dir 和innodb_ data_ file_ path两个参数共同配置组成,innodb_ data home, dir 参数配置数据存放的总目录,innodb data_ file_ path 参数配置每一个文件的路径及文件名称。如果需要添加新的ibdata文件,则需要在innodb data_ file path 参数后面配置,然后重新启动服务器才能够生效。

3、其他文件

MySQL数据库系统除了日志文件、数据文件外,还包括其他的一些文件。 例如系统配置文件、pid文件、socket 文件等等。

MySQL系统配置文件一般都在“etc/my.cnf" 中。pid 文件类似于UnixLinux操作系统下面的进程文件,MySQL服务器的pid文件用来存放自己的进程ID。MySQL 服务器启动后,socket文件自动生成,该文件主要用来连接客户端。

以上就是小编整理的MySQL架构简介,只是个人的一些见解,哪里有不准确的地方,希望各位大佬多多批评指正,咱们共同进步。

感觉小编整理的还不错的,请多多点赞评论分享,让更多人的看到获益,关注小编,后续会为大家带来更多的内容更新,希望大家喜欢~~~

猜你喜欢

转载自blog.csdn.net/python6_quanzhan/article/details/106593683