MySQL如何保证主备一致？_mysql是怎么保证主备一致的-程序员宅基地

技术标签： MySQL实战45讲笔记  mysql  数据库  

1. MySQL主备的基本原理

如下图展示的是基本的主备切换流程：
在这里插入图片描述

在状态1中，主库是A，备库是B，所以客户端的读写都直接方法节点A。由于节点B是节点A的备库，所以备库B只是将A的更新都同步过来，本地执行，这样可以保证节点B和节点A的数据一致性。

如果发生主备切换，就会从状态1变成状态2，节点A成为备库，节点B成为主库。

在状态1中，虽然节点B没有被客户端直接方法，但是还是建议将节点B（备库）设置成只读（readonly）模式，主要有以下几个理由：

  1. 避免某些服务访问了备库，造成误操作；
  2. 防止切换逻辑有bug，比如切换过程中出现双写，造成主备不一致；
  3. 可以用readonly状态，来判断节点的角色；

注意：readonly对于超级管理员是无效的，而用于同步更新的线程，就拥有超级权限，所以是可以修改备库的。

接下来我们看下节点A到节点B的流程图：
在这里插入图片描述

实际上备库B和主库A之间维持了个长连接，主库A中有一个线程（dump_thread），专门用于服务和备库B的长连接。日志同步的完整过程如下：

  1. 在备库B上通过change master命令，设置主库A的相关信息，以及要从哪个位置开始请求binlog；
  2. 在备库B上执行start slave命令，备库会启动两个线程，即io_thread和sql_thread，其中io_thread负责与主库通信；
  3. 主库A校验完信息后，根据备库B转过来的位置，本地读取binlog，传递给B；
  4. 备库拿到binlog后，写到本地文件，称为中转日志（relay log）；
  5. sql_thread读取中转日志，解析出命令并执行；

2. binlog的三种格式

binlog的格式实际上由两种格式，一种是statement，一种是row。此外还有一种mixed格式，实际上是前两种的混合。

为了方便解释几种日志格式的区别，我们创建一个表并写入些数据。

mysql> create table t(
    id int(11) not null,
    a int(11) default null,
    t_modified timestamp not null default current_timestamp,
    primary key (id),
    key a(a),
    key t_modified (t_modified)
)ENGINE=InnoDB;

insert into t values(1,1,'2018-11-13')
insert into t values(2,2,'2018-11-12')
insert into t values(3,3,'2018-11-11')
insert into t values(4,4,'2018-11-10')
insert into t values(5,5,'2018-11-09')

然后，我们对于这个表执行delete语句：

mysql>delete from t /*comment*/ where a>=4 and t_modified <='2018-11-10' limit 1;

我们可以使用下面的命令来查看binlog中的内容：

mysql> show binlog events in 'master.000001'

可以看到，当binlog_format=statement时，binlog里面记录的就是sql原文：
在这里插入图片描述

为了比较statment和row的区别，我们看下这条delete语句的执行图：
在这里插入图片描述

从图上可以看到，运行过程中产生了一个warnings，原因是binlog设置的格式时statement，并且语句中有limit，所以时unsafe的。那为什么说是unsafe呢？

  • 如果delete语句使用的是索引a，那么会根据索引a找到第一个满足条件的行，也就是a=4这一行。
  • 如何delete语句使用的是索引t_modified，那么删除的就是a=5这一行。

所以使用statement可能会造成主备不一致的情况。如果在主库和备库中执行这条SQL语句，走的索引不一样，就会出现数据不一致性。

我们接下来再看binlog_format=row的情况，下面是binlog中的内容：
在这里插入图片描述

从图上可以看到，row格式的binlog没有写SQL语句的原文，而是替换成了两个event：

  • Table_map event:说明要操作的表是test库的表t；
  • Delete_rows event：定义删除哪一行

上面实际上是没有完全显示信息的，可以借助mysqlbinlog工具查看详细信息：
在这里插入图片描述

所以，当binlog_format=row时，binlog记录了真实删除行的主键id，这样即使在备库中，也是删除这一行，不会出现主备不一致的情况。

3. 为什么会有mixd格式的binlog？

从上面的描述中，我们可以很清楚地看到statement和row格式的优缺点：

  • statement：格式节省空间，只需要记录sql语句。但是可能会出现主备不一致的情况；
  • row：不会出现主备不一致的情况。但是格式十分消耗空间，需要记录所有修改的行。

而 mixed格式的意思是，MySQL会自己判断这条SQL语句是否可能引起主备不一致，如果有可能，就用row格式，否则就用statement格式。

所以线上的场景，设置为statement格式肯定是不合理的，至少要设置成mixed格式。

实际上，现在越来越多都是使用row格式，其中一个好处就是恢复数据：

  • 当执行delete语句后，发现误删了，直接将binlog中的信息，转换成insert语句插入即可
  • 当执行insert语句后，发现错误插入了，直接将binlog中的信息，转换成delete语句插入即可
  • 如果执行的是update语句，binlog会记录修改前后的信息，方面恢复

4. 循环复制问题

刚才介绍的是M-S结构，现在用的比较多的是双M结构，如下图：
在这里插入图片描述

这个和M-S结构的区别在于，节点A和节点B之间互为主备关系。这种架构有个问题：当节点A更新了数据，写入binlog_A,然后传给节点B，节点B也会执行更新，写入binlog_B。然后由于节点B更新了，节点A又会去执行节点B的更新，就造成一个死循环的情况。

为了避免这种情况，MySQL在binlog中记录了这个命令第一次执行时所在实例的server id：

  1. 规定两个库的server id必须不同，如果相同，不能互为主备；
  2. 一个备库接到binlog进行重放的时候，生成与原binlog的server id相同的新binlog；
  3. 每个库在收到从自己的主库发过来的日志后，先判断server id，如果和自己相同，说明时自己第一次生成的，就直接丢弃这个日志。

来源：自己整理的MySQL实战45讲笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41799019/article/details/128039578

智能推荐

如何配置DNS服务的正反向解析_dns反向解析-程序员宅基地

文章浏览阅读3k次，点赞3次，收藏13次。root@server ~]# vim /etc/named.rfc1912.zones #添加如下内容，也可直接更改模板。[root@server ~]# vim /etc/named.conf #打开主配置文件，将如下两处地方修改为。注意：ip地址必须反向书写，这里文件名需要和反向解析数据文件名相同。新建或者拷贝一份进行修改。nslookup命令。_dns反向解析

设置PWM占空比中TIM_SetCompare1，TIM_SetCompare2,TIM_SetCompare3,TIM_SetCompare4分别对应引脚和ADC通道对应引脚-程序员宅基地

文章浏览阅读2.5w次，点赞16次，收藏103次。这个函数TIM_SetCompare1，这个函数有四个，分别是TIM_SetCompare1，TIM_SetCompare2，TIM_SetCompare3，TIM_SetCompare4。位于CH1那一行的GPIO口使用TIM_SetCompare1这个函数,位于CH2那一行的GPIO口使用TIM_SetCompare2这个函数。使用stm32f103的除了tim6和tim7没有PWM..._tim_setcompare1

多线程_进程和线程，并发与并行，线程优先级，守护线程，实现线程的四种方式，线程周期；线程同步，线程中的锁，Lock类，死锁，生产者和消费者案例-程序员宅基地

文章浏览阅读950次，点赞33次，收藏19次。多线程_进程和线程，并发与并行，线程优先级，守护线程，实现线程的四种方式，线程周期；线程同步，线程中的锁，Lock类，死锁，生产者和消费者案例

在 Linux 系统的用户目录下安装 ifort 和 MKL 库并配置_在linux系统的用户目录下安装ifort和mkl库并配置-程序员宅基地

文章浏览阅读2.9k次。ifort 编译器的安装ifort 编译器可以在 intel 官网上下载。打开https://software.intel.com/content/www/us/en/develop/tools/oneapi/components/fortran-compiler.html#gs.7iqrsm点击网页中下方处的 Download, 选择 Intel Fortran Compiler Classic and Intel Fortran Compiler(Beta) 下方对应的版本。我选择的是 l_在linux系统的用户目录下安装ifort和mkl库并配置

使用ftl文件生成图片中图片展示无样式，不显示_ftl格式pdf的样式调整-程序员宅基地

文章浏览阅读689次，点赞7次，收藏8次。些项目时需要一个生成图片的方法，我在网上找到比较方便且适合我去设置一些样式的生成方式之一就是使用Freemarker，在对应位置上先写好一个html格式的ftl文件，在对应位置用${参数名}填写上。还记得当时为了解决图片大小设置不上，搜索了好久资料，不记得是在哪看到的需要在里面使用width与height直接设置，而我当时用style去设置，怎么都不对。找不到，自己测试链接，准备将所有含有中文的图片链接复制一份，在服务器上存储一份不带中文的文件。突然发现就算无中文，有的链接也是打不开的。_ftl格式pdf的样式调整

orin Ubuntu 20.04 配置 Realsense-ROS_opt/ros/noetic/lib/nodelet/nodelet: symbol lookup -程序员宅基地

文章浏览阅读1.5k次，点赞6次，收藏12次。拉取librealsense。_opt/ros/noetic/lib/nodelet/nodelet: symbol lookup error: /home/admin07/reals

随便推点

操作系统精选习题——第四章_系统抖动现象的发生由什么引起的-程序员宅基地

文章浏览阅读3.4k次，点赞3次，收藏29次。一.单选题二.填空题三.判断题一.单选题静态链接是在( )进行的。A、编译某段程序时B、装入某段程序时C、紧凑时D、装入程序之前Pentium处理器(32位)最大可寻址的虚拟存储器地址空间为( )。A、由内存的容量而定B、4GC、2GD、1G分页系统中,主存分配的单位是( )。A、字节B、物理块C、作业D、段在段页式存储管理中，当执行一段程序时，至少访问()次内存。A、1B、2C、3D、4在分段管理中，（ ）。A、以段为单位分配，每._系统抖动现象的发生由什么引起的

UG NX 12零件工程图基础_ug-nx工程图-程序员宅基地

文章浏览阅读2.4k次。在实际的工作生产中，零件的加工制造一般都需要二维工程图来辅助设计。UG NX 的工程图主要是为了满足二维出图需要。在绘制工程图时，需要先确定所绘制图形要表达的内容，然后根据需要并按照视图的选择原则，绘制工程图的主视图、其他视图以及某些特殊视图，最后标注图形的尺寸、技术说明等信息，即可完成工程图的绘制。1.视图选择原则工程图合理的表达方案要综合运用各种表达方法，清晰完整地表达出零件的结构形状，并便于看图。确定工程图表达方案的一般步骤如下：口分析零件结构形状由于零件的结构形状以及加工位置或工作位置的不._ug-nx工程图

智能制造数字化工厂智慧供应链大数据解决方案（PPT）-程序员宅基地

文章浏览阅读920次，点赞29次，收藏18次。原文《智能制造数字化工厂智慧供应链大数据解决方案》PPT格式主要从智能制造数字化工厂智慧供应链大数据解决方案框架图、销量预测+S&OP大数据解决方案、计划统筹大数据解决方案、订单履约大数据解决方案、库存周转大数据解决方案、采购及供应商管理大数据模块、智慧工厂大数据解决方案、设备管理大数据解决方案、质量管理大数据解决方案、仓储物流与网络优化大数据解决方案、供应链决策分析大数据解决方案进行建设。适用于售前项目汇报、项目规划、领导汇报。

网络编程socket accept函数的理解_当在函数 'main' 中调用 'open_socket_accept'时.line: 8. con-程序员宅基地

文章浏览阅读2w次，点赞38次，收藏102次。在服务器端，socket()返回的套接字用于监听（listen）和接受（accept）客户端的连接请求。这个套接字不能用于与客户端之间发送和接收数据。 accept()接受一个客户端的连接请求，并返回一个新的套接字。所谓“新的”就是说这个套接字与socket()返回的用于监听和接受客户端的连接请求的套接字不是同一个套接字。与本次接受的客户端的通信是通过在这个新的套接字上发送和接收数_当在函数 'main' 中调用 'open_socket_accept'时.line: 8. connection request fa

C#对象销毁_c# 销毁对象及其所有引用-程序员宅基地

文章浏览阅读4.3k次。对象销毁对象销毁的标准语法Close和Stop何时销毁对象销毁对象时清除字段对象销毁的标准语法Framework在销毁对象的逻辑方面遵循一套规则，这些规则并不限用于.NET Framework或C#语言；这些规则的目的是定义一套便于使用的协议。这些协议如下:一旦销毁，对象不可恢复。对象不能被再次激活，调用对象的方法或者属性抛出ObjectDisposedException异常重复地调用对象的Disposal方法会导致错误如果一个可销毁对象x 包含或包装或处理另外一个可销毁对象y，那么x的Disp_c# 销毁对象及其所有引用

笔记-中项/高项学习期间的错题笔记1_大型设备可靠性测试可否拆解为几个部分进行测试-程序员宅基地

文章浏览阅读1.1w次。这是记录，在中项、高项过程中的错题笔记；https://www.zenwu.site/post/2b6d.html1. 信息系统的规划工具在制订计划时，可以利用PERT图和甘特图；访谈时，可以应用各种调查表和调查提纲；在确定各部门、各层管理人员的需求，梳理流程时，可以采用会谈和正式会议的方法。为把企业组织结构与企业过程联系起来，说明每个过程与组织的联系，指出过程决策人，可以采用建立过程／组织（Process/Organization，P/O）矩阵的方法。例如，一个简单的P/O矩阵示例，其中._大型设备可靠性测试可否拆解为几个部分进行测试

推荐文章

热门文章

相关标签