数据库学习——08—Mysql高级(锁、分区表、主从复制、MySQL操作规范)

1、数据库锁

• 表锁
• 行锁
• 间隙锁

锁是计算机协调多个进程或线程并发访问某一资源的机制

表锁
偏向MyISAM存储引擎,开销小,加锁快;无死锁,锁定粒度大,发送锁冲突的概率最高,并发度低

表锁案例

create table mylock(
    id int not null primary key auto_increment,
    name varchar(20)
)engine myisam;     --注意引擎是myisam

insert into mylock(name) values('a');
insert into mylock(name) values('b');
insert into mylock(name) values('c');
insert into mylock(name) values('d');
insert into mylock(name) values('e');

手动增加表锁

lock table 表名字 read(write),表名字2 read(write);

lock table students read;
lock table class write;

释放表锁

unlock tables;

表锁总结
MyISAM在执行查询语句(select)前,会自动给涉及的所有表加读锁,在执行增删改操作前,会自动给涉及的表加写锁

– 对MyISAM表的读操作(加读锁),不会阻塞其他进程对同一表的读请求,但会阻塞对同一表的写请求。只有当读锁释放后,才会执行其他进行的写操作

–对MyISAM表的写操作(加写锁),会阻塞其他进程对同一表的读和写操作,只有当写锁释放后,才会执行其他进程的读写操作

（写锁的影响范围更大；读锁会阻塞写操作、不会阻塞读操作；写锁会阻塞读和写操作）
同时验证了MyISQM引擎适合读操作，不适合写操作

--
mysql> show status like 'table%';
+----------------------------+-------+
| Variable_name              | Value |
+----------------------------+-------+
| Table_locks_immediate      | 38    |         --产生表锁的次数  
| Table_locks_waited         | 0     |         --发生表锁的竞争数，数据大代表表级锁的竞争大
| Table_open_cache_hits      | 0     |
| Table_open_cache_misses    | 0     |
| Table_open_cache_overflows | 0     |
+----------------------------+-------+
5 rows in set (0.05 sec)

行锁
偏向InnoDB存储引擎,开销大,加锁慢,会出现死锁。锁定粒度最小,发生锁冲突的概率最低,并发度也最高
InnoDB与MyISAM的最大不同点,支持事务,采用了行级锁

行锁案例

create table test_innodb_lock(a int(11),b varchar(16))engine=innodb;

insert into test_innodb_lock values(1,'b2');
insert into test_innodb_lock values(3,'3');
insert into test_innodb_lock values(4,'4000');
insert into test_innodb_lock values(5,'5000');

create index idx_test_innodb_a on test_innodb_lock(a);

create index idx_test_innodb_b on test_innodb_lock(b);

前提是先把自动提交给关闭，因为一些类似update语句的操作会自动提交

mysql> set autocommit = 0 ;
Query OK, 0 rows affected (0.00 sec)

mysql> show variables like 'autocommit%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| autocommit    | OFF   |
+---------------+-------+
1 row in set, 1 warning (0.00 sec)

分析行锁定
通过检查innodb_row_lock状态变量来分析系统上的行锁争夺情况

show status like 'innodb_row_lock%';

各个状态量的说明

Innodb_row_lock_current_waits       当前正在等待锁定的数量
* Innodb_row_lock_time              从系统启动到现在锁定的总时间长度
* Innodb_row_lock_time_avg          每次等待所花费平均时间
Innodb_row_lock_time_max            从系统启动到现在等待最长的一次所花费的时间
* Innodb_row_lock_waits             系统启动后到现在总共等待的次数

mysql> select * from test_innodb_lock;
+------+------+
| a    | b    |
+------+------+
|    1 | b2   |
|    3 | 3    |
|    4 | 4001 |
|    5 | 5000 |
+------+------+
4 rows in set (0.00 sec)

mysql> commit;
Query OK, 0 rows affected (0.12 sec)

行级锁中，需要最后commit提交之后，才能在另一个窗口中查询到修改后的数据，所以在行锁之前，要先关闭自动提交，才能看到这样的效果。
（varchar类型数据不加单引号，会使索引失效，变成了全表扫描。同时行锁会转换变成表锁形式）

间隙锁
当我们用范围条件而不是相等条件检索数据,并请求共享或排他锁时,innodb会给符合条件的已有数据记录的索引项加锁, 对于键值在条件范围内但并不存在的记录,叫做"间隙"
innodb也会对这个"间隙"加锁,这种锁机制就是所谓的间隙锁

间隙锁的危害
因为SQL执行过程中通过范围查找的话,他会锁定整个范围内所有的索引值,即使这个键值并不存在

间隙锁有一个比较致命的弱点,就是当锁定以为范围键值之后,即使某些不存在的键值也会被无辜的锁定,而造成在锁定的时候无法插入锁定键值范围内的任何数据。在某些场景下这可能会对性能造成很大的危害

如何锁定一行

select * from test_innodb_lock where a = 8 for update;  

上图中就是因为间隙锁的原因产生阻塞（因为创建的test_innodb_lock表中的a的的值只有1、3、4、5，有缺失的2元素，会造成间隙锁）

2、MySQL分区表
分区表的特点
在逻辑上为一个表,在物理上存储在多个文件中

create table `login_log`(
    login_id int(10) unsigned not null comment '登录用户id',
    login_time timestamp not null default current_timestamp,
    login_ip int(10) unsigned not null comment '登录类型'
)engine=innodb default charset=utf8;

 partition by hash(login_id) partitions 4;                   ---分成了4个区

分区键
分区引入了分区键的概念,分区键用于根据某个区间值、特定值、或者HASH函数值执行数据的聚集,让数据根据规则分布在不同的分区中。

分区类型

• RANGE分区
• LIST分区
• HASH分区

无论那种分区类型,要么分区表上没有主键/唯一键,要么分区表的主键/唯一键都必须包括分区键,也就是说不能使用主键/唯一字段之外的其他字段分区

RANGE分区
RANGE分区特点
– 根据分区键值的范围把数据行存储到表的不同分区中
– 多个分区的范围要连续,但是不能重叠 (不同分区的范围不能重叠)
– 分区不包括上限,取不到上限值

建立RANGE分区

create table `login_log_range`(
    login_id int(10) unsigned not null comment '登录用户ID',
    login_time timestamp not null default CURRENT_TIMESTAMP,
    login_ip int(10) unsigned not null comment '登录ip'
)engine=innodb 
partition by range(login_id)(
partition p0 values less than(10000),   # 实际范围0-9999
partition p1 values less than(20000),   # 实际范围10000-19999
partition p2 values less than(30000),
partition p3 values less than maxvalue  # 存储大于30000的数据   --不加这句的情况  存储大于30000的数据无法实现
);

--删除分区语句
alter table login_log_range drop partition p0;

RANGE分区使用场景
– 分区键为日期或是时间类型
– 经常运行包含分区键的查询,MySQL可以很快的确定只有某一个或某些分区需要扫描,例如检索商品login_id小于10000的记录数,MySQL只需要扫描p0分区即可
– 定期按分区范围清理历史数据

HASH分区
HASH分区的特点(平均分配)
– 根据MOD(分区键,分区值)的值把数据行存储到表的不同分区内
– 数据可以平均的分布在各个分区中
– HASH分区的键值必须是一个INT类型的值,或是通过函数可以转为INT类型

--  建立HASH分区表
create table `login_log`(
    login_id int(10) unsigned not null comment '登录用户ID',
    login_time timestamp not null default CURRENT_TIMESTAMP,
    login_ip int(10) unsigned not null comment '登录ip'
)engine=innodb default charset=utf8 partition by hash(login_id) partitions 4;

create table `login_log`(
    login_id int(10) unsigned not null comment '登录用户ID',
    login_time timestamp not null default CURRENT_TIMESTAMP,
    login_ip int(10) unsigned not null comment '登录ip'
)engine=innodb default charset=utf8 partition by hash(UNIX_TIMESTAMP(login_time)) partitions 4;

-- UNIX_TIMESTAMP(login_time) 取时间戳再进行hash

LIST分区
LIST分区特点
– 按分区键取值的列表进行分区
– 同范围分区一样,各分区的列表值不能重复
– 每一行数据必须能找到对应的分区列表,否则数据插入失败

建立LIST分区
create table `login_log_list`(
    login_id int(10) unsigned not null comment '登录用户ID',
    login_time timestamp not null default CURRENT_TIMESTAMP,
    login_ip int(10) unsigned not null comment '登录ip',
    login_type int(10) not null
)engine=innodb 
partition by list(login_type)(
partition p0 values in(1,3,5,7,9),    
partition p1 values in(2,4,6,8)   
);

insert into login_log_list values(1,now(),2,1)     --插值正常
insert into login_log_list values(1,now(),2,10)    --插值异常报错   login_type=10没有相应的分区去存储的

如何选择合适的分区方式
举例：实现下面的需求
1.用户每次登陆都会记录到日志表中
2.用户登录日志保存一年,一年后可以删除
分析：因为数据保存与时间日期相关，且一年后删除分区，采用RANGE分区：

采用RABGE分区方式创建分区表
create table `login_log_range`(
    login_id int(10) unsigned not null comment '登录用户id',
    login_time datetime  not null default current_timestamp,
    login_ip int(10) unsigned not null comment '登录ip'
)engine=innodb 
partition by range(year(login_time))(             --year(time) 将数据类型转换成
partition p0 values less than(2015),   
partition p1 values less than(2016),   
partition p2 values less than(2017)   
);


插入数据
insert into login_log_range values
(1,'2015-01-25',1),
(2,'2015-07-25',2),
(3,'2015-06-25',3),
(4,'2016-03-25',2),
(5,'2016-02-25',1);


查询表
select table_name,partition_name,partition_description,table_rows from information_schema.`partitions` where table_name = 'login_log_range'

修改分区-添加分区
alter table login_log_range add partition (partition p4 values less than(2018))
分区删除
alter table login_log_range drop partition p0;

数据归档
分区迁移
需要先创建一个新的相同类型的表,结构相同，表名称不同，

数据归档    （归档表，不能进行分区）
需要先创建一个新的相同类型的表,结构相同,表名称不同,其他字段一定要相同，不能进行分区

create table `login_log_test`(
    login_id int(10) unsigned not null comment '登录用户id',
    login_time datetime  not null default current_timestamp,
    login_ip int(10) unsigned not null comment '登录ip'
)engine=innodb;

分区迁移
alter table login_log_test exchange partition p0 with table login_log_test;

查询当前迁移的分区表
select * from login_log_test;

查询需要进行迁移的表的数据   会发现迁移部分的数据已经消失
select * from login_log_range;

使用分区表的注意事项
– 数据库的使用版本需要是5.7之后的版本。
– 结合业务场景选择分区键,避免跨分区查询
– 对分区表进行查询最好在where从句中包含分区键
– 具有主键或唯一索引的表,主键或唯一索引必须是分区键的一部分

3、主从复制
复制的原理如下图所示：
优点：使数据库的读取分离，使得数据库压力减小。备份主数据库、提高访问量、提升数据库性能。

复制的三步骤：
1.主数据库(master)将改变记录到二进制日志。这些记录过程叫做二进制日志事件(binary log events)
2.从数据库(slave)将主数据库(master)的二进制日志(binary log events)拷贝到它的中继日志
3.从数据库(slave)重做中继日志中的事件,将改变应用到自己的数据库中。MySQL复制是异步的且串行的

复制的基本原则
1.每个slave只有一个master
2.每个slave只能有一个唯一的服务器ID
3.每个master可以有多个salve

一主一从常见配置

• MySQL版本一致且后台服务可以运行
• 主从主机可以相互通信
• 主从配置都在[mysqld]结点下,都是小写

C:\Users\Administrator                                                                  
λ ping 192.168.232.128                    --这个ip地址是linux虚拟机的ip    为了检测主从服务器的通信正常                                          
                                                                                        
正在 Ping 192.168.232.128 具有 32 字节的数据:                                                    
来自 192.168.232.128 的回复: 字节=32 时间<1ms TTL=64                                             
来自 192.168.232.128 的回复: 字节=32 时间<1ms TTL=64                                             
来自 192.168.232.128 的回复: 字节=32 时间<1ms TTL=64                                             
来自 192.168.232.128 的回复: 字节=32 时间<1ms TTL=64                                             
                                                                                        
192.168.232.128 的 Ping 统计信息:                                                            
    数据包: 已发送 = 4，已接收 = 4，丢失 = 0 (0% 丢失)，                                                
往返行程的估计时间(以毫秒为单位):                                                                      
    最短 = 0ms，最长 = 0ms，平均 = 0ms      
                                                        
C:\Users\Administrator
λ ipconfig                                  --是在Windows系统下的查看主机ip

Windows IP 配置


以太网适配器 VMware Network Adapter VMnet1:                                  --虚拟机1

   连接特定的 DNS 后缀 . . . . . . . :
   本地链接 IPv6 地址. . . . . . . . : fe80::451f:9a36:320c:d6e7%13
   IPv4 地址 . . . . . . . . . . . . : 192.168.174.1                        
   子网掩码  . . . . . . . . . . . . : 255.255.255.0
   默认网关. . . . . . . . . . . . . :

以太网适配器 以太网:                                                        --主机配置

   连接特定的 DNS 后缀 . . . . . . . :
   本地链接 IPv6 地址. . . . . . . . : fe80::40b1:ab56:f4a0:832a%8
   IPv4 地址 . . . . . . . . . . . . : 192.168.0.111                       --主机ip
   子网掩码  . . . . . . . . . . . . : 255.255.255.0
   默认网关. . . . . . . . . . . . . : 192.168.0.1

以太网适配器 VMware Network Adapter VMnet8:                                --虚拟机2

   连接特定的 DNS 后缀 . . . . . . . :
   本地链接 IPv6 地址. . . . . . . . : fe80::2c96:caf3:2f11:34bb%2
   IPv4 地址 . . . . . . . . . . . . : 192.168.232.1
   子网掩码  . . . . . . . . . . . . : 255.255.255.0
   默认网关. . . . . . . . . . . . . :

隧道适配器 isatap.{4506C40A-8472-453C-BCA0-0ED4BDCF4C2F}:

   媒体状态  . . . . . . . . . . . . : 媒体已断开连接
   连接特定的 DNS 后缀 . . . . . . . :

隧道适配器 本地连接* 11:

   连接特定的 DNS 后缀 . . . . . . . :
   IPv6 地址 . . . . . . . . . . . . : 2001:0:348b:fb58:34be:d86a:8884:c68f
   本地链接 IPv6 地址. . . . . . . . : fe80::34be:d86a:8884:c68f%20
   默认网关. . . . . . . . . . . . . : ::

隧道适配器 isatap.{8FC2E3C7-AA4B-4CF9-A78B-06F42B4B5666}:

   媒体状态  . . . . . . . . . . . . : 媒体已断开连接
   连接特定的 DNS 后缀 . . . . . . . :

隧道适配器 isatap.{0088928C-9C8F-4E82-A9BE-B0DAA1FB2064}:

   媒体状态  . . . . . . . . . . . . : 媒体已断开连接
   连接特定的 DNS 后缀 . . . . . . . :

C:\Users\Administrator
λ mysql -uroot -h127.0.0.1 -p                                   --h后面代表要连接的ip地址
Enter password: ****
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 8
Server version: 8.0.12 MySQL Community Server - GPL

Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

主机配置文件-my.ini --之前的博客提到

server-id = 1                      # [必须]主服务器唯一ID      不能和从机重复
log-bin = 自己本地的路径/mysqlbin   # [必须]启用二进制日志
log-err = 自己本地的路径/mysqlerr   # [可选] 启用错误日志

从机配置文件-mysqld.cnf     /etc/mysql/mysql.conf.d/mysqld.cnf
server-id = 1                       # [必须]主服务器唯一ID       
log-bin = 自己本地的路径/mysqlbin   # [可选]启用二进制日志

修改过配置文件之后,要重启MySQL服务

service mysql restart

主从都关闭防火墙

service iptables stop

在Windows主机上建立账户并授权slave

创建账户
create user 'zhangsan'@'从机数据库IP' identified with mysql_native_password by '123456';   
--zhangsan用户名称     '123456'用户密码

账户授权
grant replication slave on *.* to 'zhangsan'@'从机数据库IP' identified by '123456';
-- *.* 是代表授权所有数据库和所有表的权限      

记录下File和position的值
show master status;     --记录File和position项目下的的值  保存

配置Linux从机

change master to master_host = '主机ip地址',       --换成%   代表所有的ip地址都可以
master_user = '主机用户',
master_password = '主机用户密码',
master_log_file = '上面记录的File选项下的值',
master_log_pos= 上面记录的position选项下的值;

测试是否配置成功

start slave;                 启动从服务器复制功能
show slave status\G 

下面两个参数都是yes,则说明主从配置成功
slave_io_running:yes   
slave_sql_running:yes

stop slave;                  停止从服务器复制功能

4、MySQL操作规范

命名规范
– 表名建议使用有业务意义的英文词汇，必要时可加数字和下划线，并以英文字母开头
– 库、表、字段全部采用小写：

• MySQL 在 Linux 下默认是区分大小写的，而在 Windows 下不区分大小写。因此，防止出现问题，建议都设置为小写。

– 避免用 MySQL 的保留字
– 命名（包括表名、列名）禁止超过 30 个字符
– 临时库、表名必须以 tmp 为前缀，并以日期为后缀，如：tmp_shop_info_20190404
– 备份库、表必须以 bak 为前缀，并以日期为后缀，如：bak_shop_info_20190404
– 索引命名：

• 非唯一索引必须按照"idx_字段名称"进行命名
• 唯一索引必须按照"uniq_字段名称"进行命名

设计规范
– 主键

• 表必须有主键
• 不使用更新频繁的列做主键
• 尽量不选择字符串列做主键
• 不使用 UUID MD5 HASH 做主键
• 默认使用非空的唯一键

– 如无特殊要求，建议都使用 InnoDB 引擎
– 默认使用 utf8mb4 字符集，数据排序规则使用 utf8mb4_general_ci

• utf8mb4 为万国码，无乱码风险；与 utf8 编码相比，utf8mb4 能支持 Emoji 表情

– 所有表、字段都需要增加 comment 来描述此表、字段所表示的含义

• data_status TINYINT NOT NULL DEFAULT ‘1’ COMMENT ‘1代表记录有效，0代表记录无效’

– 尽可能不使用 TEXT、BLOB 类型

• 原因：会浪费更多的磁盘和内存空间，非必要的大量大字段查询会淘汰掉热数据，导致内存命中率急剧降低，影响数据库性能。如果实在有某个字段过长需要使用TEXT、BLOB 类型，则建议独立出来一张表，用主键来对应，避免影响原表的查询效率。

– 单表列数目建议小于 30

SQL语句规范
– 避免隐式转换
– 尽量不使用select *,只 select 需要的字段

• 读取不需要的列会增加 CPU、IO、NET 消耗，并且不能有效的利用覆盖索引。使用 SELECT * 容易在增加或者删除字段后导致程序报错

– 建议将子查询转换为关联查询
– 建议应用程序捕获 SQL 异常，并有相应处理

行为规范
– 批量导入、导出数据必须提前通知 DBA 协助观察
– 不在业务高峰期批量更新、查询数据库
– 删除表或者库要求尽量先 rename，观察几天，确定对业务没影响，再 drop