浅析分布式事务

1、单机事务

1.1 ACID特性

1.1.1 原子性

一个事务(transaction)中的全部操做，要么所有完成，要么所有不完成，不会结束在中间某个环节。

事务在执行过程当中发生错误，会被回滚（Rollback）到事务开始前的状态，就像这个事务历来没有执行过同样。

就像你买东西要么交钱收货一块儿都执行，要么发不出货，就退钱。

1.1.2 一致性

事务的一致性指的是在一个事务执行以前和执行以后数据库都必须处于一致性状态。

若是事务成功地完成，那么系统中全部变化将正确地应用，系统处于有效状态。

若是在事务中出现错误，那么系统中的全部变化将自动地回滚，系统返回到原始状态。

1.1.3 隔离性

指的是在并发环境中，当不一样的事务同时操纵相同的数据时，每一个事务都有各自的完整数据空间。

由并发事务所作的修改必须与任何其余并发事务所作的修改隔离。事务查看数据更新时，数据所处的状态要么是另外一事务修改它以前的状态，要么是另外一事务修改它以后的状态，事务不会查看到中间状态的数据。

1.1.4 持久性

指的是只要事务成功结束，它对数据库所作的更新就必须永久保存下来。

即便发生系统崩溃，从新启动数据库系统后，数据库还能恢复到事务成功结束时的状态。

打个比方，你买东西的时候须要记录在帐本上，即便老板忘记了那也有据可查。

1.2 隔离级别

1.2.1 read uncommitted

read uncommitted：读未提交，就是一个事务能够读取另外一个未提交事务的数据。

脏读（Dirty Reads）：一个事务正在对一条记录作修改，在这个事务完成并提交前，这条记录的数据就处于不一致状态；这时，另外一个事务也来读取同一条记录，若是不加控制，第二个事务读取了这些“脏”数据，并据此作进一步的处理，就会产生未提交的数据依赖关系。这种现象被形象地叫作"脏读"。

那怎么解决脏读呢？Read committed，读提交，能解决脏读问题

1.2.2 read committed

read committed：读提交，就是一个事务要等另外一个事务提交后才能读取数据。

不可重复读（unrepeatable read）：如有事务对数据进行更新（UPDATE）操做时，读操做事务要等待这个更新操做事务提交后才能读取数据，能够解决脏读问题。但若是第一个事务在第二个事务的先后各有一次查询操做，则其读取的数据可能不一致，便可能出现了一个事务范围内两个相同的查询却返回了不一样数据，这就是不可重复读。

那怎么解决可能的不可重复读问题？Repeatable read ，可重复读。

1.2.3 repeatable read

repeatable read：可重复读，对同一字段的屡次读取结果都是一致的，除非数据是被自己事务本身所修改；

幻读（Phantom Reads）：一个事务按相同的查询条件从新读取之前检索过的数据，却发现其余事务插入了知足其查询条件的新数据，这种现象就称为“幻读”

那么怎么解决幻读的问题了？serializable，串行化。

1.2.4 serializable

serializable：串行化，全部的事务依次逐个执行，这样事务之间就彻底不可能产生干扰。

---

2、分布式事务

2.1 分布式理论

2.1.1 CAP理论

CAP是一个经典的分布式系统理论。其告诉咱们，一个分布式系统不能同时知足 一致性(Consistency)、可用性（Availablity）和分区容忍性（Partition tolerance）这三个基本需求，最多只能同时知足其中两项。

(一) Consistency 一致性

多个副本之间，在同一时刻可否有一样的值。

对于一个将副本数据分布在不一样节点的系统来讲，若是第一个节点的数据进行了更新操做而且更新成功后，却没有使得其余节点的数据等到对应的更新，因而在对第二个节点的数据进行读取操做时，获取的依然是老数据（或者称为脏数据），这就是典型的分布式数据不一致的状况。

强一致性

分布式系统中，若是可以作到针对各一个数据项的更新操做执行成功以后，全部的用户够能够读取到最新的值，那么这样的系统就被认为具备强一致性。

弱一致性

系统不能保证后续访问返回更新的值。须要在一些条件知足以后，更新的值才能返回。从更新操做开始，到系统保证任何观察者老是看到更新的值的这期间被称为不一致窗口。

最终一致性

这是弱一致性的特殊形式；存储系统保证若是没有对某个对象的新更新操做，最终全部的访问将返回这个对象的最后更新的值。

（二）Available 可用性

系统提供的服务必须一直处于可用的状态。即便集群中部分节点故障。

对于客户的每一个请求操做老是可以在有限的时间内返回结果。超过了有限时间，那么系统就被认为是不可用。

（三）Partition tolerance分区容错性

系统在遇到节点故障或者网络分区时，仍然可以对外提供一致性和可用性的服务。

对于分布式系统而言，分区是必定存在的，即partition必定存在，因此咱们只能在可用性和一致性之间抉择。

2.1.2 BASE理论

BASE是Basically Available（基本可用）、Soft state（软状态） 和Eventually consistent（最终一致性）的缩写；BASE理论是对CAP中一致性和可用性权衡的结果。其核心思想是：即便没法作到强一致性，但每一个业务均可以根据业务的特色采起适当的方式是系统达到最终一致性。

(一) 基本可用

基本可用指分布式系统出现不可预知的故障的时候，容许损失部分可用性—注意，这毫不等价于系统不可用。

常见于：

• 耗时增长，响应变慢；
• 限流降级；

(二) 软状态

软状态指容许系统中的数据存在中间状态，并认为该中间状态的存在不会影响系统的总体可用性，即容许系统在不一样节点的数据副本之间数据同步的过程存在延迟。

(三) 最终一致性

最终一致性强调的是全部的数据副本，在通过一段时间的同步以后，最终都可以达到一个一致的状态。所以，最终一致性的本质是须要系统保证最终数据可以达到一致，而不须要实时保证系统数据的强一致性。

总的来讲，BASE理论面向的是大型高可用可扩展的分布式系统，和传统的事物ACID特性是相反的，它彻底不一样于ACID的强一致性模型，而是经过牺牲强一致性来得到可用性，并容许数据在一段时间内是不一致的，但最终达到一致状态。但同时，在实际的分布式场景中，不一样业务单元和组件对数据一致性的要求是不一样的，所以在具体的分布式系统架构设计过程当中，ACID特性和BASE理论每每又会结合在一块儿。

2.1.3 分布式一致性算法

参考 CAP 一致性协议及应用解析 对 分布式一致性算法的解析。

2.1.3.1 Paxos 协议

像 2PC 和 3PC 都须要引入一个协调者的角色，当协调者 down 掉以后，整个事务都没法提交，参与者的资源都出于锁定的状态，对于系统的影响是灾难性的，并且出现网络分区的状况，颇有可能会出现数据不一致的状况。有没有不须要协调者角色，每一个参与者来协调事务呢，在网络分区的状况下，又能最大程度保证一致性的解决方案呢。此时 Paxos 出现了。

Paxos 算法是 Lamport 于 1990 年提出的一种基于消息传递的一致性算法。因为算法难以理解起初并无引发人们的重视，Lamport在八年后从新发表，即使如此Paxos算法仍是没有获得重视。2006 年 Google 的三篇论文石破天惊，其中的 chubby 锁服务使用Paxos 做为 chubbycell 中的一致性，后来才获得关注。

Paxos 协议是一个解决分布式系统中，多个节点之间就某个值（提案）达成一致（决议）的通讯协议。它可以处理在少数节点离线的状况下，剩余的多数节点仍然可以达成一致。即每一个节点，既是参与者，也是决策者。

2.1.3.2 Raft协议

Paxos 是论证了一致性协议的可行性，可是论证的过程听说晦涩难懂，缺乏必要的实现细节，并且工程实现难度比较高广为人知实现只有 zk 的实现 zab 协议。而后斯坦福大学RamCloud项目中提出了易实现，易理解的分布式一致性复制协议 Raft。Java，C++，Go 等都有其对应的实现

• 节点状态

  • Leader（主节点）：接受 client 更新请求，写入本地后，而后同步到其余副本中
  • Follower（从节点）：从 Leader 中接受更新请求，而后写入本地日志文件。对客户端提供读请求
  • Candidate（候选节点）：若是 follower 在一段时间内未收到 leader 心跳。则判断 leader 可能故障，发起选主提议。节点状态从 Follower 变为 Candidate 状态，直到选主结束
• termId：任期号，时间被划分红一个个任期，每次选举后都会产生一个新的 termId，一个任期内只有一个 leader。termId 至关于 paxos 的 proposalId。
• RequestVote：请求投票，candidate 在选举过程当中发起，收到 quorum (多数派）响应后，成为 leader。
• AppendEntries：附加日志，leader 发送日志和心跳的机制
• election timeout：选举超时，若是 follower 在一段时间内没有收到任何消息(追加日志或者心跳)，就是选举超时。

Leader 不会修改自身日志，只会作追加操做，日志只能由Leader转向Follower。例如即将要down掉的Leader节点已经提交日志1，未提交日志 2，3。down 掉以后，节点 2 启动最新日志只有 1，而后提交了日志 4。好巧不巧节点 1 又启动了。此时节点 2 的编号 4 日志会追加到节点 1 的编号 1 日志的后面。节点 1 编号 2，3 的日志会丢掉。

不依赖各个节点物理时序保证一致性，经过逻辑递增的 term-id 和 log-id 保证。

2.1.3.3 ZAB协议

ZAB(ZooKeeper Atomic Broadcast)是为ZooKeeper设计的一种支持崩溃恢复的原子广播协议。

不少人会误觉得ZAB协议是Paxos的一种特殊实现，事实上他们是两种不一样的协议。ZAB和Paxos最大的不一样是，ZAB主要是为分布式主备系统设计的，而Paxos的实现是一致性状态机(state machine replication)

尽管ZAB不是Paxos的实现，可是ZAB也参考了一些Paxos的一些设计思想，好比：

• leader向follows提出提案(proposal)
• leader 须要在达到法定数量(半数以上)的follows确认以后才会进行commit
• 每个proposal都有一个纪元(epoch)号，相似于Paxos中的选票(ballot)

ZAB特性

1. 一致性保证

   1.1可靠提交(Reliable delivery) -若是一个事务 A 被一个server提交(committed)了，那么它最终必定会被全部的server提交

   1.2全局有序(Total order) - 假设有A、B两个事务，有一台server先执行A再执行B，那么能够保证全部server上A始终都被在B以前执行

   1.3 因果有序(Causal order) - 若是发送者在事务A提交以后再发送B,那么B必将在A以前执行

2. 只要大多数（法定数量）节点启动，系统就行正常运行
3. 当节点下线后重启，它必须保证能恢复到当前正在执行的事务

2.2 分布式事务方案

2.2.1 强一致性方案

2.2.1.1 2PC协议

两阶段提交协议把分布式事务分红两个过程，一个是准备阶段，一个是提交阶段，准备阶段和提交阶段都是由事务管理器发起的，为了接下来说解方便，咱们把事务管理器称为协调者，把资管管理器称为参与者，资源管理器通常指数据库。 两阶段以下：

1. 准备阶段

事务协调者(事务管理器)给每一个参与者(资源管理器)发送Prepare消息，每一个参与者要么直接返回失败(如权限验证失败)，要么在本地执行事务，写本地的redo和undo日志，但不提交，到达一种“万事俱备，只欠东风”的状态。

能够进一步将准备阶段分为如下三个步骤：

1. 协调者节点向全部参与者节点询问是否能够执行提交操做(vote)，并开始等待各参与者节点的响应。
2. 参与者节点执行询问发起为止的全部事务操做，并将Undo信息和Redo信息写入日志。（注意：若成功这里其实每一个参与者已经执行了事务操做）
3. 各参与者节点响应协调者节点发起的询问。若是参与者节点的事务操做实际执行成功，则它返回一个”赞成”消息；若是参与者节点的事务操做实际执行失败，则它返回一个”停止”消息。

2. 提交阶段：

若是协调者收到了参与者的失败消息或者超时，直接给每一个参与者发送回滚(Rollback)消息；不然，发送提交(Commit)消息；参与者根据协调者的指令执行提交或者回滚操做，释放全部事务处理过程当中使用的锁资源。(注意:必须在最后阶段释放锁资源)

接下来分两种状况分别讨论提交阶段的过程。

当协调者节点从全部参与者节点得到的相应消息都为”赞成”时:

1. 协调者节点向全部参与者节点发出”正式提交(commit)”的请求。
2. 参与者节点正式完成操做，并释放在整个事务期间内占用的资源。
3. 参与者节点向协调者节点发送”完成”消息。
4. 协调者节点受到全部参与者节点反馈的”完成”消息后，完成事务。

若是任一参与者节点在第一阶段返回的响应消息为”停止”，或者 协调者节点在第一阶段的询问超时以前没法获取全部参与者节点的响应消息时：

1. 协调者节点向全部参与者节点发出”回滚操做(rollback)”的请求。
2. 参与者节点利用以前写入的Undo信息执行回滚，并释放在整个事务期间内占用的资源。
3. 参与者节点向协调者节点发送”回滚完成”消息。
4. 协调者节点受到全部参与者节点反馈的”回滚完成”消息后，取消事务。

无论最后结果如何，第二阶段都会结束当前事务。

二阶段提交看起来确实可以提供原子性的操做，可是不幸的事，二阶段提交仍是有几个缺点的：

1. 同步阻塞问题。执行过程当中，全部参与节点都是事务阻塞型的。当参与者占有公共资源时，其余第三方节点访问公共资源不得不处于阻塞状态。
2. 单点故障。因为协调者的重要性，一旦协调者发生故障。参与者会一直阻塞下去。尤为在第二阶段，协调者发生故障，那么全部的参与者还都处于锁定事务资源的状态中，而没法继续完成事务操做。（若是是协调者挂掉，能够从新选举一个协调者，可是没法解决由于协调者宕机致使的参与者处于阻塞状态的问题）
3. 数据不一致。在二阶段提交的阶段二中，当协调者向参与者发送commit请求以后，发生了局部网络异常或者在发送commit请求过程当中协调者发生了故障，这会致使只有一部分参与者接受到了commit请求，而在这部分参与者接收到commit请求以后就会执行commit操做，可是其余部分未接到commit请求的机器则没法执行事务提交。因而整个分布式系统便出现了数据不一致性的现象。
4. 二阶段没法解决的问题：协调者再发出commit消息以后宕机，而惟一接收到这条消息的参与者同时也宕机了。那么即便协调者经过选举协议产生了新的协调者，这条事务的状态也是不肯定的，没人知道事务是否被已经提交。

2.2.1.2 3PC协议

因为二阶段提交存在着诸如同步阻塞、单点问题、脑裂等缺陷，因此，研究者们在二阶段提交的基础上作了改进，提出了三阶段提交。

与两阶段提交不一样的是，三阶段提交有两个改动点。

1. 引入超时机制。同时在协调者和参与者中都引入超时机制。
2. 在第一阶段和第二阶段中插入一个准备阶段。保证了在最后提交阶段以前各参与节点的状态是一致的。

也就是说，除了引入超时机制以外，3PC把2PC的准备阶段再次一分为二，这样三阶段提交就有CanCommit、PreCommit、DoCommit三个阶段。

​ 1. CanCommit阶段

​ 3PC的CanCommit阶段其实和2PC的准备阶段很像。协调者向参与者发送commit请求，参与者若是能够提交就返回Yes响应，不然返回No响应。

1. 事务询问 协调者向参与者发送CanCommit请求。询问是否能够执行事务提交操做。而后开始等待参与者的响应。
2. 响应反馈 参与者接收到CanCommit请求以后，正常状况下，若是其自身认为能够顺利执行事务，则返回Yes响应，并进入预备状态。不然反馈No

​ 2. PreCommit阶段

​ 协调者根据参与者的反应状况来决定是否能够进行事务的PreCommit操做。根据响应状况，有如下两种可能。

​ 假如协调者从全部的参与者得到的反馈都是Yes响应，那么就会执行事务的预执行。

1. 发送预提交请求 协调者向参与者发送PreCommit请求，并进入Prepared阶段。
2. 事务预提交 参与者接收到PreCommit请求后，会执行事务操做，并将undo和redo信息记录到事务日志中。
3. 响应反馈 若是参与者成功的执行了事务操做，则返回ACK响应，同时开始等待最终指令。

​ 假若有任何一个参与者向协调者发送了No响应，或者等待超时以后，协调者都没有接收到参与者的响应，那么就执行事务的中断。

1. 发送中断请求 协调者向全部参与者发送abort请求。
2. 中断事务 参与者收到来自协调者的abort请求以后（或超时以后，仍未收到协调者的请求），执行事务的中断。

​ 3. doCommit阶段

​ 该阶段进行真正的事务提交，也能够分为如下两种状况。

执行提交

1. 发送提交请求 协调接收到参与者发送的ACK响应，那么他将从预提交状态进入到提交状态。并向全部参与者发送doCommit请求。
2. 事务提交 参与者接收到doCommit请求以后，执行正式的事务提交。并在完成事务提交以后释放全部事务资源。
3. 响应反馈 事务提交完以后，向协调者发送Ack响应。
4. 完成事务 协调者接收到全部参与者的ack响应以后，完成事务。

中断事务

协调者没有接收到参与者发送的ACK响应（多是接收者发送的不是ACK响应，也可能响应超时），那么就会执行中断事务。

1. 发送中断请求 协调者向全部参与者发送abort请求
2. 事务回滚 参与者接收到abort请求以后，利用其在阶段二记录的undo信息来执行事务的回滚操做，并在完成回滚以后释放全部的事务资源。
3. 反馈结果 参与者完成事务回滚以后，向协调者发送ACK消息
4. 中断事务 协调者接收到参与者反馈的ACK消息以后，执行事务的中断。

​ 在doCommit阶段，若是参与者没法及时接收到来自协调者的doCommit或者abort请求时，会在等待超时以后，会继续进行事务的提交。（其实这个应该是基于几率来决定的，当进入第三阶段时，说明参与者在第二阶段已经收到了PreCommit请求，那么协调者产生PreCommit请求的前提条件是他在第二阶段开始以前，收到全部参与者的CanCommit响应都是Yes。（一旦参与者收到了PreCommit，意味他知道你们其实都赞成修改了）因此，一句话归纳就是，当进入第三阶段时，因为网络超时等缘由，虽然参与者没有收到commit或者abort响应，可是他有理由相信：成功提交的概率很大。 ）

​ 2PC与3PC的区别、3PC的缺点

​ 相对于2PC，3PC主要解决的单点故障问题，并减小阻塞，由于一旦参与者没法及时收到来自协调者的信息以后，他会默认执行commit。而不会一直持有事务资源并处于阻塞状态。可是这种机制也会致使数据一致性问题，由于，因为网络缘由，协调者发送的abort响应没有及时被参与者接收到，那么参与者在等待超时以后执行了commit操做。这样就和其余接到abort命令并执行回滚的参与者之间存在数据不一致的状况。

2.2.2 最终一致性方案

2.2.2.1 查询模式

任何一个服务操做都须要提供一个查询接口，用来向外部输出操做执行的状态。服务操做的使用方能够经过查询接口，得知服务操做执行的状态，而后根据不一样状态来作不一样的处理操做。
为了可以实现查询，每一个服务操做都须要有惟一的流水号标识，也可以使用这次服务操做对应的资源ID来标志，例如：请求流水号、订单号等。
首先，单笔查询操做是必须提供的，批量查询则根据须要来提供，若是使用了批量查询，须要有合理的分页机制，而且必须限制分页的大小，以及对批量查询的QPS须要有容量评估和流控等。

2.2.2.2 补偿模式

有了上面的查询模式，在任何状况下，咱们都能得知具体的操做所处的状态，若是整个操做处于不正常的状态，咱们须要修正操做中有问题的子操做，这可能须要从新执行未完成的子操做，或者取消已经完成的子操做，经过修复使整个分布式系统达到一致，为了让系统最终一致而作的努力都叫作补偿。
对于服务化系统中同步调用的操做，业务操做发起的主动方在尚未获得业务操做执行方的明确返回或者调用超时，这个时候业务发起的主动方须要及时的调用业务执行方得到操做执行的状态，这里使用查询模式，得到业务操做的执行方的状态后，若是业务执行方已经执行完预设的工做，则业务发起方给业务的使用方返回成功，若是业务操做的执行方的状态为失败或者未知，则会当即告诉业务的使用方失败，而后调用业务操做的逆向操做，保证操做不被执行或者回滚已经执行的操做，让业务的使用方、业务发起的主动方、业务的操做方最终达成一致的状态。

2.2.2.3 按期校对

既然咱们在系统中实现最终一致性，系统在没有达到一致以前，系统间的状态是不一致的，甚至是混乱的，须要补偿操做来达到一致的目的，可是咱们如何来发现须要补偿的操做呢？
在操做的主流程中的系统间执行校对操做，咱们能够过后异步的批量校对操做的状态，若是发现不一致的操做，则进行补偿，补偿操做与补偿模式中的补偿操做是一致的。
另外，实现按期校对的一个关键就是分布式系统中须要有一个自始至终惟一的ID。

2.2.2.4 本地消息表

基本思路是：

消息生产方，须要额外建一个消息表，并记录消息发送状态。消息表和业务数据要在一个事务里提交，也就是说他们要在一个数据库里面。而后消息会通过MQ发送到消息的消费方。若是消息发送失败，会进行重试发送。

消息消费方，须要处理这个消息，并完成本身的业务逻辑。此时若是本地事务处理成功，代表已经处理成功了，若是处理失败，那么就会重试执行。若是是业务上面的失败，能够给生产方发送一个业务补偿消息，通知生产方进行回滚等操做。

生产方和消费方定时扫描本地消息表，把还没处理完成的消息或者失败的消息再发送一遍。

2.2.2.5 MQ消息事务

有一些第三方的MQ是支持事务消息的，好比RocketMQ，他们支持事务消息的方式也是相似于采用的二阶段提交，可是市面上一些主流的MQ都是不支持事务消息的，好比 RabbitMQ 和 Kafka 都不支持。

以阿里的 RocketMQ 中间件为例，其思路大体为：

第一阶段Prepared消息，会拿到消息的地址。

第二阶段执行本地事务。

第三阶段经过第一阶段拿到的地址去访问消息，并修改状态。

也就是说在业务方法内要向消息队列提交两次请求，一次发送消息和一次确认消息。若是确认消息发送失败了RocketMQ会按期扫描消息集群中的事务消息，这时候发现了Prepared消息，它会向消息发送者确认，因此生产方须要实现一个check接口，RocketMQ会根据发送端设置的策略来决定是回滚仍是继续发送确认消息。这样就保证了消息发送与本地事务同时成功或同时失败。

2.2.2.6 TCC模式

TCC的定义

Try: 尝试执行业务

完成全部业务检查（一致性）
  预留必须业务资源（准隔离性）

Confirm: 确认执行业务

真正执行业务
  不做任何业务检查
  只使用Try阶段预留的业务资源
  Confirm操做知足幂等性

Cancel: 取消执行业务

释放Try阶段预留的业务资源
  Cancel操做知足幂等性

实现

1. 一个完整的业务活动由一个主业务服务与若干从业务服务组成。
2. 主业务服务负责发起并完成整个业务活动。
3. 从业务服务提供 TCC 型业务操做。
4. 业务活动管理器控制业务活动的一致性，它登记业务活动中的操做，并在活动提交时确认全部的两阶段事务的 confirm 操做，在业务活动取消时调用全部两阶段事务的 cancel 操做。

---

3、参考文献

【1】CAP 一致性协议及应用解析

【2】最终一致性的理解

【3】分布式事务？No, 最终一致性

【4】聊聊zookeeper的ZAB算法