MySQL8.0新特性学习笔记（一）：binlog复制策略优化

左手的ㄟ右手 2023-06-27 12:59 8阅读 0赞

看一下几个版本以来binlog复制策略的演进。

5.6以前的版本  
经典的主从复制模型：

1，Master提交事务。

2，binlog写入binlog文件。

3，Slave的IO线程把Master上的binlog写入Slave的RelayLog。

4，Slave单线程从RelayLog中读取日志并执行。

瓶颈：单线程处理RelayLog太慢。

5.6版本  
开始使用库级的并行复制，为了优化单线程处理RelayLog太慢的问题。

有SQL线程作为Coordinator调度线程，同时启动多个线程作为WorkThread工作线程，调度线程读取RelayLog文件内容，判断是否跨库，然后分配给不同的工作线程来处理。

单库模式下，效率可能还没有原来的模式快。

5.7版本  
开始使用基于Group Commit的并行复制。

Group Commit解决的问题：

Master提交事务时，需要将binlog写入磁盘文件并调用fsync磁盘同步指令，这是一个加锁的操作，所以写入binlog还是串行的。提交事务并发比较高时，效率比较慢。

Group Commit的策略：

把提交事务的过程分为三个阶段，分别是Flush，Sync，Commit，每个阶段维护一个队列，由队列中的第一个线程执行该阶段的操作。达到的效果是可以一次把一批事务的binlog写到磁盘文件。每次一起提交的文件属于一个Group。

根据InnoDB事务的原理，Group Commit中的事务应该是没有行级锁的冲突，一批事务在Slave中可以并行处理。

在binlog中会记录两个值，last\_committed 和 sequence\_number。

sequence\_number：事务编号，全局唯一。

last\_committed：上组事务中最后提交的那个事务的编号。

那么，两个事务如果last\_committed相同，代表他们是同一组提交的事务。

相关参数：

slave\_parallel\_type：回放策略。设为DATABASE表示采用5.6版本的库级并行复制，设为LOGICAL\_LOCK表示采用5.7版本的Group Commit策略。

binlog\_group\_commit\_sync\_delay：为Group Commit而设定的commit延迟。

binlog\_group\_commit\_sync\_no\_delay\_count：为Group Commit而设定的不再等待延迟的事务数。

以上两个参数是为了Master并发不大时也能享受到Group Commit的性能提高。

8.0版本  
使用WriteSet策略。

在Master生成binlog时，不再按照Group提交，而是通过WriteSet策略，使用写集合，判断提交的事务是否有依赖关系。

更详细一点的WriteSet策略流程：

1，建立vector变量保存已提交事务的Hash值。

2，如果某事务修改的行里面有主键，则vector保存主键（及库，表等信息）的Hash值，有非空唯一键，则保存非空唯一键（及库，表等信息）的Hash值，如果有外键，则保存外键的Hash值，以上都没有，vector不保存该事务信息。

3，如果某事务修改的行的主键是其他表的外键，则此事务不参与此策略，vector不保存此事务的信息。

4，如果某事务最终没有被vector保存信息，则此事务不参与此策略。

5，比较事务的vector信息，无冲突则表示可以一起提交，last\_committed改为最后一个已提交的事务相同的last\_committed。

6，一起提交的事务最终被并行处理。不参与此策略的事务使用5.7版本的组提交策略。

注：

1，WriteSet策略依赖主键或者非空唯一键。

2，WriteSet策略需要把Binlog设为Row格式。

3，此策略在Master生成binlog时就生效，所以即使Slave不是8.0版本也能享受此策略的优化。

相关系统变量

binlog-transaction-dependency-tracking

此系统变量可设置以下三个值：

COMMIT\_ORDER：5.7版本的组提交策略。

WRITESET：基于WriteSet的策略。效率最高。

WRITESET\_SESSION：基于WriteSet的策略后再次计算，可以保证同一个session在Slave上执行事务的顺序不变。

发表评论取消回复

表情：

评论列表（有 0 条评论，8人围观）

还没有评论，来说两句吧...

相关阅读

相关 MYSQL 主从复制 --- binlog

在 Master 端并不 Care 有多少个 Slave 连上了自己，只要有 Slave 的 IO 线程通过了连接认证，向他请求指定位置之后的 Binary Log 信息...

短命女/ 2024年04月21日 19:05/ 0 赞/ 147 阅读

相关 mysql80新特性汇总

mysql 8.0 什么时候发布 MySQL开发团队于12日宣布MySQL 8.0.0开发里程碑版本(DMR)发布！可能有人会惊奇MySQL为何从5.x一下跳跃到了8.0

灰太狼/ 2023年09月25日 10:34/ 0 赞/ 189 阅读

相关 mysql80新特性groupby

mysql5.5和8.0有什么区别？我要怎么学mysql8.0? 不是学了sql语言就会操作所有的数据库,sql语言有很多的分支，但都是以sql基础语言为根本的，初学者先

女爷i/ 2023年09月25日 10:34/ 0 赞/ 227 阅读

相关 typescript学习笔记（一）--字符串、函数等新特性

一. 字符串新特性 1. 多行字符串我们在js中要连接多个字符串需要使用+，而在ts中可以直接使用\`\`即可，可自动转换成换行符 //ts

小灰灰/ 2023年07月20日 05:56/ 0 赞/ 150 阅读

相关 mysql binlog 笔记

binlog 是 mysql 对操作日志的记录，本身为二进制文件，需要使用 mysqlbinlog 工具命令查看具体内容。包括三种模式： STATEMENT 记录每一条

朴灿烈づ我的快乐病毒、/ 2023年07月09日 02:28/ 0 赞/ 47 阅读

相关 MySQL8.0新特性学习笔记（一）：binlog复制策略优化

看一下几个版本以来binlog复制策略的演进。 5.6以前的版本经典的主从复制模型： 1，Master提交事务。 2，binlog写入binlog文件。 3

左手的ㄟ右手/ 2023年06月27日 12:59/ 0 赞/ 9 阅读

相关 MySQL 8.0复制新特性

> MySQL 8.0 复制功能有很大改进提升，并行复制性能与5.7相比可能提高数倍，是不是很期待？ > > 翻译团队：知数堂藏经阁项目 - 琅琊阁 > > 团队成员：琅琊

不念不忘少年蓝@/ 2023年01月02日 04:29/ 0 赞/ 209 阅读

相关 4.mysql学习笔记：mysql的复制（一）

mysql的复制复制概述复制要解决的一个基本问题是服务器之间数据的同步，一个master（主库）的数据可以同步到多个备库（slave）上。而且其中一个备库也可以

喜欢ヅ旅行/ 2022年08月10日 09:46/ 0 赞/ 276 阅读

相关 MySQL并发复制系列一：binlog组提交

并发复制（Parallel Replication）系列一 : Binary Log Group Commit 作者：沃趣科技MySQL数据库工程师麻鹏飞

梦里梦外;/ 2022年07月30日 13:25/ 0 赞/ 286 阅读

相关 mysql优化学习笔记一

mysql优化分为以下几大部分：硬件（SSD/HDD） + 操作系统 + 参数（性能与安全成反比）+ 索引 + 架构 ==========================

秒速五厘米/ 2022年05月10日 04:46/ 0 赞/ 336 阅读