分布式事务、跨库事务的实现原理与JDBC实现XA分布式事务

悠悠 2022-03-19 09:13 426阅读 0赞

**一、背景**

随着，互联网的不断发展，传统的单库已经无法满足我们业务上的需求。作为行业内的解决方案就是将数据库进行分区、分库、分表、分片。但是其中涉及分库的时候，事务的提交又变成了行业中难题。为了解决这个问题Mysql5.0后，开始支持分布式事务XA。

**二、XA原理**

我们在实用单点数据库的一般的关系型数据库都有实现事务ACID属性的方法，一般使用诸如UNDO,REDO等。但在使用分布式数据库的时候，如何来保证数据的一致性呢？典型的影响场景就是大家已经听到过很多次的银行转账这个了。如果A用户在向B用户跨行转账的时候。因此如何来保证分布式事务的ACID，也有了比较成熟的方案，一般是2段提交2PC协议或者改进版也就是3段提交3PC协议，下面来分别简单介绍下。

**2PC协议也成为2段提交，1prepare阶段，2commit阶段。**

所谓的两个阶段是指：第一阶段：准备阶段(投票阶段)和第二阶段：提交阶段（执行阶段）

**准备阶段**

事务协调者(事务管理器)给每个参与者(资源管理器)发送Prepare消息，每个参与者要么直接返回失败(如权限验证失败)，要么在本地执行事务，写本地的redo(修改后记录)和undo(修改前记录)日志，但不提交，到达一种“万事俱备，只欠东风”的状态。

可以进一步将准备阶段分为以下三个步骤：

> 1）协调者节点向所有参与者节点询问是否可以执行提交操作(vote)，并开始等待各参与者节点的响应。
> 
> 2）参与者节点执行询问发起为止的所有事务操作，并将Undo信息和Redo信息写入日志。（注意：若成功这里其实每个参与者已经执行了事务操作）
> 
> 3）各参与者节点响应协调者节点发起的询问。如果参与者节点的事务操作实际执行成功，则它返回一个”同意”消息；如果参与者节点的事务操作实际执行失败，则它返回一个”中止”消息。

**提交阶段**

如果协调者收到了参与者的失败消息或者超时，直接给每个参与者发送回滚(Rollback)消息；否则，发送提交(Commit)消息；参与者根据协调者的指令执行提交或者回滚操作，释放所有事务处理过程中使用的锁资源。(注意:必须在最后阶段释放锁资源)

接下来分两种情况分别讨论提交阶段的过程。

当协调者节点从所有参与者节点获得的相应消息都为”同意”时:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70][]

> 1）协调者节点向所有参与者节点发出”正式提交(commit)”的请求。
> 
> 2）参与者节点正式完成操作，并释放在整个事务期间内占用的资源。
> 
> 3）参与者节点向协调者节点发送”完成”消息。
> 
> 4）协调者节点受到所有参与者节点反馈的”完成”消息后，完成事务。

如果任一参与者节点在第一阶段返回的响应消息为”中止”，或者 协调者节点在第一阶段的询问超时之前无法获取所有参与者节点的响应消息时：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 1][]

> 1）协调者节点向所有参与者节点发出”回滚操作(rollback)”的请求。
> 
> 2）参与者节点利用之前写入的Undo信息执行回滚，并释放在整个事务期间内占用的资源。
> 
> 3）参与者节点向协调者节点发送”回滚完成”消息。
> 
> 4）协调者节点受到所有参与者节点反馈的”回滚完成”消息后，取消事务。

不管最后结果如何，第二阶段都会结束当前事务。

二阶段提交看起来确实能够提供原子性的操作，但是不幸的事，二阶段提交还是有几个缺点的：

> 1、同步阻塞问题。执行过程中，所有参与节点都是事务阻塞型的。当参与者占有公共资源时，其他第三方节点访问公共资源不得不处于阻塞状态。
> 
> 2、单点故障。由于协调者的重要性，一旦协调者发生故障。参与者会一直阻塞下去。尤其在第二阶段，协调者发生故障，那么所有的参与者还都处于锁定事务资源的状态中，而无法继续完成事务操作。（如果是协调者挂掉，可以重新选举一个协调者，但是无法解决因为协调者宕机导致的参与者处于阻塞状态的问题）
> 
> 3、数据不一致。在二阶段提交的阶段二中，当协调者向参与者发送commit请求之后，发生了局部网络异常或者在发送commit请求过程中协调者发生了故障，这回导致只有一部分参与者接受到了commit请求。而在这部分参与者接到commit请求之后就会执行commit操作。但是其他部分未接到commit请求的机器则无法执行事务提交。于是整个分布式系统便出现了数据部一致性的现象。
> 
> 4、二阶段无法解决的问题：协调者再发出commit消息之后宕机，而唯一接收到这条消息的参与者同时也宕机了。那么即使协调者通过选举协议产生了新的协调者，这条事务的状态也是不确定的，没人知道事务是否被已经提交。

**由于二阶段提交存在着诸如同步阻塞、单点问题、脑裂等缺陷，所以，研究者们在二阶段提交的基础上做了改进，提出了三阶段提交，3PC。**

> 三阶段提交（Three-phase commit），也叫三阶段提交协议（Three-phase commit protocol），是二阶段提交（2PC）的改进版本。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 2][]

与两阶段提交不同的是，三阶段提交有两个改动点。

> 1、引入超时机制。同时在协调者和参与者中都引入超时机制。  
> 2、在第一阶段和第二阶段中插入一个准备阶段。保证了在最后提交阶段之前各参与节点的状态是一致的。

也就是说，除了引入超时机制之外，3PC把2PC的准备阶段再次一分为二，这样三阶段提交就有`CanCommit`、`PreCommit`、`DoCommit`三个阶段。

**CanCommit阶段-询问阶段**

3PC的CanCommit阶段其实和2PC的准备阶段很像。协调者向参与者发送commit请求，参与者如果可以提交就返回Yes响应，否则返回No响应。

> 1.事务询问 协调者向参与者发送CanCommit请求。询问是否可以执行事务提交操作。然后开始等待参与者的响应。
> 
> 2.响应反馈 参与者接到CanCommit请求之后，正常情况下，如果其自身认为可以顺利执行事务，则返回Yes响应，并进入预备状态。否则反馈No

**PreCommit阶段-准备阶段**

协调者根据参与者的反应情况来决定是否可以记性事务的PreCommit操作。根据响应情况，有以下两种可能。

假如协调者从所有的参与者获得的反馈都是Yes响应，那么就会执行事务的预执行。

> 1.发送预提交请求 协调者向参与者发送PreCommit请求，并进入Prepared阶段。
> 
> 2.事务预提交 参与者接收到PreCommit请求后，会执行事务操作，并将undo和redo信息记录到事务日志中。
> 
> 3.响应反馈 如果参与者成功的执行了事务操作，则返回ACK响应，同时开始等待最终指令。

假如有任何一个参与者向协调者发送了No响应，或者等待超时之后，协调者都没有接到参与者的响应，那么就执行事务的中断。

> 1.发送中断请求 协调者向所有参与者发送abort请求。
> 
> 2.中断事务 参与者收到来自协调者的abort请求之后（或超时之后，仍未收到协调者的请求），执行事务的中断。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 3][]

**doCommit阶段-提交阶段**

该阶段进行真正的事务提交，也可以分为以下两种情况。

执行提交

> 1.发送提交请求 协调接收到参与者发送的ACK响应，那么他将从预提交状态进入到提交状态。并向所有参与者发送doCommit请求。
> 
> 2.事务提交 参与者接收到doCommit请求之后，执行正式的事务提交。并在完成事务提交之后释放所有事务资源。
> 
> 3.响应反馈 事务提交完之后，向协调者发送Ack响应。
> 
> 4.完成事务 协调者接收到所有参与者的ack响应之后，完成事务。

中断事务 协调者没有接收到参与者发送的ACK响应（可能是接受者发送的不是ACK响应，也可能响应超时），那么就会执行中断事务。

`在doCommit阶段，如果参与者无法及时接收到来自协调者的doCommit或者rebort请求时，会在等待超时之后，会继续进行事务的提交。（其实这个应该是基于概率来决定的，当进入第三阶段时，说明参与者在第二阶段已经收到了PreCommit请求，那么协调者产生PreCommit请求的前提条件是他在第二阶段开始之前，收到所有参与者的CanCommit响应都是Yes。（一旦参与者收到了PreCommit，意味他知道大家其实都同意修改了）所以，一句话概括就是，当进入第三阶段时，由于网络超时等原因，虽然参与者没有收到commit或者abort响应，但是他有理由相信：成功提交的几率很大。 ）`

**三、JDBC实现XA分布式事务**

>     import com.mysql.jdbc.jdbc2.optional.MysqlXAConnection;
>     import com.mysql.jdbc.jdbc2.optional.MysqlXid;
>     
>     import javax.sql.XAConnection;
>     import javax.transaction.xa.XAException;
>     import javax.transaction.xa.XAResource;
>     import javax.transaction.xa.Xid;
>     import java.sql.Connection;
>     import java.sql.DriverManager;
>     import java.sql.PreparedStatement;
>     
>     public class MainXA {
>     
>         public static void main(String[] args) throws Exception {
>             //true表示打印XA语句,，用于调试
>             boolean logXaCommands = true;
>             // 获得资源管理器操作接口实例 RM1
>             Connection conn01 = DriverManager.getConnection("jdbc:mysql://10.211.55.10:3306/tfm_db02", "root", "root#2019");
>             XAConnection xaConn01 = new MysqlXAConnection((com.mysql.jdbc.Connection) conn01, logXaCommands);
>             XAResource rm1 = xaConn01.getXAResource();
>     
>             // 获得资源管理器操作接口实例 RM2
>             Connection conn02 = DriverManager.getConnection("jdbc:mysql://10.211.55.10:3306/tfm_db01", "root", "root#2019");
>             XAConnection xaConn02 = new MysqlXAConnection((com.mysql.jdbc.Connection) conn02, logXaCommands);
>             XAResource rm2 = xaConn02.getXAResource();
>     
>             // AP请求TM执行一个分布式事务，TM生成全局事务id
>             byte[] uid = "G012345678901".getBytes();
>             int formatId = 1;
>             try {
>                 // ==============分别执行RM1和RM2上的事务分支====================
>                 // TM生成rm1上的事务分支id
>                 byte[] branch01 = "b00001".getBytes();
>                 Xid xid01 = new MysqlXid(uid, branch01, formatId);
>                 // 3. 插入 SQL
>                 // 3.1 SQL1 A库
>                 Integer code = (int) (Math.random() * 10000);
>                 String sql01 = String.format("insert into t_order(user_id, code) VALUES ('%s', '%s')", 145046110, code + "");
>                 // 执行rm1上的事务分支
>                 rm1.start(xid01, XAResource.TMNOFLAGS);//One of TMNOFLAGS, TMJOIN, or TMRESUME.
>                 PreparedStatement ps1 = conn01.prepareStatement(sql01);
>                 ps1.execute();
>                 rm1.end(xid01, XAResource.TMSUCCESS);
>     
>                 // TM生成rm2上的事务分支id
>                 byte[] branch02 = "b00002".getBytes();
>                 Xid xid02 = new MysqlXid(uid, branch02, formatId);
>     
>                 String sql2 = String.format("insert into t_order_good2(order_id, good_id) VALUES(%s, '%s')", 100, 3);
>                 // 执行rm2上的事务分支
>                 rm2.start(xid02, XAResource.TMNOFLAGS);//One of TMNOFLAGS, TMJOIN, or TMRESUME.
>                 PreparedStatement ps2 = conn02.prepareStatement(sql2);
>                 ps2.execute();
>                 rm2.end(xid02, XAResource.TMSUCCESS);
>     
>                 // ===================两阶段提交================================
>                 // phase1：询问所有的RM 准备提交事务分支
>                 int rm1_prepare = rm1.prepare(xid01);
>                 int rm2_prepare = rm2.prepare(xid02);
>     
>                 // phase2：提交所有事务分支
>                 boolean onePhase = false; //TM判断有2个事务分支，所以不能优化为一阶段提交
>                 if (rm1_prepare == XAResource.XA_OK
>                         && rm2_prepare == XAResource.XA_OK
>                 ) {//所有事务分支都prepare成功，提交所有事务分支
>                     rm1.commit(xid01, onePhase);
>                     rm2.commit(xid02, onePhase);
>                 } else {//如果有事务分支没有成功，则回滚
>                     rm1.rollback(xid01);
>                     rm1.rollback(xid02);
>                 }
>             } catch (XAException e) {
>                 // 如果出现异常，也要进行回滚
>                 e.printStackTrace();
>             }
>     
>         }
>     
>     }

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70]: /images/20220319/8aaf6856525f46d494f82325097cb830.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 1]: /images/20220319/229d5617701c4cc3950dbd8413dee627.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 2]: /images/20220319/87c44a7b3224477293f144070a65a1e4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5ncWlhbmdfYWNjcA_size_16_color_FFFFFF_t_70 3]: /images/20220319/9dad443e681c408bb99aa648f891d090.png