mysql数据库之主从不一致场景分析及如何避免

master库写redo、binlog不实时丢数据的场景

redo的ib_logfile与binlog日志如果被设置非实时flush,就有可能存在丢数据的情况:


redo未写入磁盘,但binlog写入磁盘,造成从库数据量比主库多。
redo写入了磁盘,但是binlog未写入,造成从库数据量比主库少。


从目前来看,只能牺牲性能去换取数据的安全性,必须要设置redo和binlog为实时刷盘,如果对性能要求很高,则考虑使用SSD:

sync_binlog = 1
innodb_flush_log_at_trx_commit = 112

slave库写redo、binlog不实时丢数据的场景

slave读取master的binlog日志后,需要落地3个文件:relay log、relay log info、master info: 
        relay log:即读取过来的master的binlog,内容与格式与master的binlog一致。 
        relay log info:记录SQL Thread应用的relay log的位置、文件号等信息。 
        master info:记录IO Thread读取master的binlog的位置、文件号、延迟等信息。 
    因此如果当这3个文件如果不及时落地,则主机crash后会导致数据的不一致。

MySQL 5.6 针对复制功能提供了新特性: slave支持crash-safe. 该功能可以解决之前版本中系统异常断电可能导致的SQL thread 信息不准确的问题。 
在MySQL 5.6.2之前,slave记录的master信息以及slave应用binlog的信息存放在文件中,即master.info与relay-log.info。在5.6.2版本之后,允许记录到table中,参数设置如下:

master-info-repository  = TABLE 
relay-log-info-repository = TABLE 12

对应的表分别为mysql.slave_master_info与mysql.slave_relay_log_info,且这两个表均为innodb引擎表。

master info与relay info还有3个参数控制刷新: 
  ● sync_relay_log:这个参数和sync_binlog是一样的,当设置为1时,slave的I/O线程每次接收到master发送过来的binlog日志都要写入系统缓冲区,然后刷入relay log中继日志里,这样是最安全的,因为在崩溃的时候,你最多会丢失一个事务,但会造成磁盘的大量I/O。当设置为0时,并不是马上就刷入中继日志里,而是由操作系统决定何时来写入,虽然安全性降低了,但减少了大量的磁盘I/O操作。这个值默认是0,可动态修改,建议采用默认值。默认为10000,即每10000次sync_relay_log事件会刷新到磁盘。为0则表示不刷新,交由OS的cache控制。 
  ● sync_master_info:若master-info-repository为FILE,当设置为0,则每次sync_master_info事件都会刷新到磁盘,默认为10000次刷新到磁盘;若master-info-repository为TABLE,当设置为0,则表不做任何更新,设置为1,则每次事件会更新表 #默认为10000 
  ● sync_relay_log_info:若relay_log_info_repository为FILE,当设置为0,交由OS刷新磁盘,默认为10000次刷新到磁盘;若relay_log_info_repository为TABLE,且为INNODB存储,则无论为任何值,则都每次evnet都会更新表。

建议参数设置如下:

sync_relay_log = 1 
sync_master_info = 1 
sync_relay_log_info = 1 
master-info-repository  = TABLE 
relay-log-info-repository = TABLE 12345

当这样设置,导致调用fsync()/fdatasync()随着master的事务的增加而增加,且若slave的binlog和redo也实时刷新的话,会带来很严重的IO性能瓶颈。

同时,通过MySQL 5.5版本开始提供的参数relay_log_recovery,当slave发生crash后重启之后重连master时,slave不根据master-info.log的信息进行重连,而是根据relay-info中执行到master的位置信息重新开始拉master上的日志数据。

总结:crash-safe + relay_log_recovery

复制有延迟的情况下主库宕机造成的数据丢失

当master出现故障后,binlog未及时传到slave,或者各个slave收到的binlog不一致。且master无法在第一时间恢复,这个时候怎么办? 
   如果master不切换,则整个数据库只能只读,影响应用的运行。 
   如果将别的slave提升为新的master,那么原master未来得及传到slave的binlog的数据则会丢失,并且还涉及到下面2个问题。 
      1.各个slave之间接收到的binlog不一致,如果强制拉起一个slave,则slave之间数据会不一致。 
      2.原master恢复正常后,由于新的master日志丢弃了部分原master的binlog日志,这些多出来的binlog日志怎么处理,重新搭建环境?

对于上面出现的问题,一种方法是确保binlog传到从库,或者说保证主库的binlog有多个拷贝。第二种方法就是允许数据丢失,制定一定的策略,保证最小化丢失数据。

如何确保binlog全部传到从库? 
   方案一:使用semi sync(半同步)或增强型半同步方式,事务提交后,必须要传到slave,事务才能算结束。对性能影响很大,依赖网络适合小tps系统。当半同步复制发生超时时(由rpl_semi_sync_master_timeout参数控制,单位是毫秒,默认为10000,即10s),会暂时关闭半同步复制,转而使用异步复制。当master dump线程发送完一个事务的所有事件之后,如果在rpl_semi_sync_master_timeout内,收到了从库的响应,则主从又重新恢复为半同步复制。由参数rpl_semi_sync_master_wait_point控制,取值为AFTER_SYNC (默认值)何AFTER_COMMIT 
   方案二:双写binlog,通过DBDR OS层的文件系统复制到备机,或者使用共享盘保存binlog日志。 
   方案三:在数据层做文章,比如保证数据库写成功后,再异步队列的方式写一份,部分业务可以借助设计和数据流解决。

参考: 
MySQL丢数据及主从数据不一致的场景 
https://www.2cto.com/database/201702/593470.html

猜你喜欢

转载自blog.csdn.net/myli_binbin/article/details/85008387