TCC是Try、Confirm、Cancel三个词语的缩写,TCC要求每一个分支事务实现三个操做:预处理Try、确认Confirm、撤销Cancel。Try操做作业务检查及资源预留,Confirm作业务确认操做,Cancel实现一个与Try相反的操做即回滚操做。TM首先发起全部的分支事务的try操做,任何一个分支事务的try操做执行失败,TM将会发起全部分支事务的Cancel操做,若try操做所有成功,TM将会发起全部分支事务的Confirm操做,其中Confirm/Cancel操做若执行失败,TM会进行重试。html
分支事务失败的状况:java
TCC分为三个阶段:mysql
1. Try 阶段是作业务检查(一致性)及资源预留(隔离),此阶段仅是一个初步操做,它和后续的Confirm 一块儿才能真正构成一个完整的业务逻辑。web
2. Confirm 阶段是作确认提交,Try阶段全部分支事务执行成功后开始执行 Confirm。一般状况下,采用TCC则认为 Confirm阶段是不会出错的。即:只要Try成功,Confirm必定成功。若Confirm阶段真的出错了,需引入重试机制或人工处理。redis
3. Cancel 阶段是在业务执行错误须要回滚的状态下执行分支事务的业务取消,预留资源释放。一般状况下,采用TCC则认为Cancel阶段也是必定成功的。若Cancel阶段真的出错了,需引入重试机制或人工处理。spring
TM事务管理器能够实现为独立的服务,也可让全局事务发起方充当TM的角色,TM独立出来是为了成为公用组件,是为了考虑系统结构和软件复用。sql
TM在发起全局事务时生成全局事务记录,全局事务ID贯穿整个分布式事务调用链条,用来记录事务上下文,追踪和记录状态,因为Confirm 和cancel失败需进行重试,所以须要实现为幂等,幂等性是指同一个操做不管请求多少次,其结果都相同。mongodb
目前市面上的TCC框架众多好比下面这几种:数据库
(如下数据采集日为2019年07月11日)网络
上一节所讲的Seata也支持TCC,但Seata的TCC模式对Spring Cloud并无提供支持。咱们的目标是理解TCC的原理以及事务协调运做的过程,所以更请倾向于轻量级易于理解的框架,所以最终肯定了Hmily。
Hmily是一个高性能分布式事务TCC开源框架。基于Java语言来开发(JDK1.8),支持Dubbo,Spring Cloud等
RPC框架进行分布式事务。它目前支持如下特性:
①支持嵌套事务(Nested transaction support).
②采用disruptor框架进行事务日志的异步读写,与RPC框架的性能毫无差异。
③支持SpringBoot-starter 项目启动,使用简单。
④RPC框架支持 : dubbo,motan,springcloud。
⑤本地事务存储支持 : redis,mongodb,zookeeper,file,mysql。
⑥事务日志序列化支持 :java,hessian,kryo,protostuff。
⑦采用Aspect AOP 切面思想与Spring无缝集成,自然支持集群。
⑧RPC事务恢复,超时异常恢复等。
Hmily利用AOP对参与分布式事务的本地方法与远程方法进行拦截处理,经过多方拦截,事务参与者能透明的调用到另外一方的Try、Confirm、Cancel方法;传递事务上下文;并记录事务日志,酌情进行补偿,重试等。
Hmily不须要事务协调服务,但须要提供一个数据库(mysql/mongodb/zookeeper/redis/file)来进行日志存储。
Hmily实现的TCC服务与普通的服务同样,只须要暴露一个接口,也就是它的Try业务。Confirm/Cancel业务逻辑,只是由于全局事务提交/回滚的须要才提供的,所以Confirm/Cancel业务只须要被Hmily TCC事务框架发现便可,不须要被调用它的其余业务服务所感知。
官网介绍:https://dromara.org/website/zh-cn/docs/hmily/index.html
空回滚:
在没有调用 TCC 资源 Try 方法的状况下,调用了二阶段的 Cancel 方法,Cancel 方法须要识别出这是一个空回滚,而后直接返回成功。
出现缘由是当一个分支事务所在服务宕机或网络异常,分支事务调用记录为失败,这个时候实际上是没有执行Try阶段,当故障恢复后,分布式事务进行回滚则会调用二阶段的Cancel方法,从而造成空回滚。
解决思路是关键就是要识别出这个空回滚。思路很简单就是须要知道一阶段是否执行,若是执行了,那就是正常回滚;若是没执行,那就是空回滚。前面已经说过TM在发起全局事务时生成全局事务记录,全局事务ID贯穿整个分布式事务调用链条。再额外增长一张分支事务记录表,其中有全局事务 ID 和分支事务 ID,第一阶段 Try 方法里会插入一条记录,表示一阶段执行了。Cancel 接口里读取该记录,若是该记录存在,则正常回滚;若是该记录不存在,则是空回滚。
幂等:
经过前面介绍已经了解到,为了保证TCC二阶段提交重试机制不会引起数据不一致,要求 TCC 的二阶段 Try、 Confirm 和 Cancel 接口保证幂等,这样不会重复使用或者释放资源。若是幂等控制没有作好,颇有可能致使数据不一致等严重问题。
解决思路在上述“分支事务记录”中增长执行状态,每次执行前都查询该状态。
悬挂:
悬挂就是对于一个分布式事务,其二阶段 Cancel 接口比 Try 接口先执行。
出现缘由是在 RPC 调用分支事务try时,先注册分支事务,再执行RPC调用,若是此时 RPC 调用的网络发生拥堵,一般 RPC 调用是有超时时间的,RPC 超时之后,TM就会通知RM回滚该分布式事务,可能回滚完成后,RPC 请求才到达参与者真正执行,而一个 Try 方法预留的业务资源,只有该分布式事务才能使用,该分布式事务第一阶段预留的业务资源就再也没有人可以处理了,对于这种状况,咱们就称为悬挂,即业务资源预留后无法继续处理。
解决思路是若是二阶段执行完成,那一阶段就不能再继续执行。在执行一阶段事务时判断在该全局事务下,“分支事务记录”表中是否已经有二阶段事务记录,若是有则不执行Try。
举例,场景为 A 转帐 30 元给 B,A和B帐户在不一样的服务。
方案1:
帐户A
try: 检查余额是否够30元 扣减30元 confirm: 空 cancel: 增长30元
帐户B
try: 增长30元 confirm: 空 cancel: 减小30元
方案1说明:
1)帐户A,这里的余额就是所谓的业务资源,按照前面提到的原则,在第一阶段须要检查并预留业务资源,所以,咱们在扣钱 TCC 资源的 Try 接口里先检查 A 帐户余额是否足够,若是足够则扣除 30 元。 Confirm 接口表示正式提交,因为业务资源已经在 Try 接口里扣除掉了,那么在第二阶段的 Confirm 接口里能够什么都不用作。Cancel接口的执行表示整个事务回滚,帐户A回滚则须要把 Try 接口里扣除掉的 30 元还给帐户。
2)帐号B,在第一阶段 Try 接口里实现给帐户B加钱,Cancel 接口的执行表示整个事务回滚,帐户B回滚则须要把 Try 接口里加的 30 元再减去。
方案1的问题分析:
1)若是帐户A的try没有执行在cancel则就多加了30元。
2)因为try,cancel、confirm都是由单独的线程去调用,且会出现重复调用,因此都须要实现幂等。
3)帐号B在try中增长30元,当try执行完成后可能会其它线程给消费了。
4)若是帐户B的try没有执行在cancel则就多减了30元。
问题解决:
1)帐户A的cancel方法须要判断try方法是否执行,正常执行try后方可执行cancel。
2)try,cancel、confirm方法实现幂等。
3)帐号B在try方法中不容许更新帐户金额,在confirm中更新帐户金额。
4)帐户B的cancel方法须要判断try方法是否执行,正常执行try后方可执行cancel。
优化方案:
帐户A
try: try幂等校验 try悬挂处理 检查余额是否够30元 扣减30元 confirm: 空 cancel: cancel幂等校验 cancel空回滚处理 增长可用余额30元
帐户B
try: 空 confirm: confirm幂等校验 正式增长30元 cancel: 空
本实例经过Hmily实现TCC分布式事务,模拟两个帐户的转帐交易过程。
两个帐户分别在不一样的银行(张三在bank一、李四在bank2),bank一、bank2是两个微服务。交易过程是,张三给李四转帐指定金额。
上述交易步骤,要么一块儿成功,要么一块儿失败,必须是一个总体性的事务。
数据库:MySQL-5.7.25
JDK:64位 jdk1.8.0_201
微服务:spring-boot-2.1.三、spring-cloud-Greenwich.RELEASE
Hmily:hmily-springcloud.2.0.4-RELEASE
微服务及数据库的关系 :
dtx/dtx-tcc-demo/dtx-tcc-demo-bank1 银行1,操做张三帐户, 链接数据库
bank1 dtx/dtx-tcc-demo/dtx-tcc-demo-bank2 银行2,操做李四帐户,链接数据库
bank2服务注册中心:dtx/discover-server
导入数据库脚本:资料\sql\bank1.sql、资料\sql\bank2.sql、已经导过不用重复导入。
建立hmily数据库,用于存储hmily框架记录的数据。
CREATE DATABASE `hmily` CHARACTER SET 'utf8' COLLATE 'utf8_general_ci';
建立bank1库,并导入如下表结构和数据(包含张三帐户)
CREATE DATABASE `bank1` CHARACTER SET 'utf8' COLLATE 'utf8_general_ci'; DROP TABLE IF EXISTS `account_info`; CREATE TABLE `account_info` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `account_name` varchar(100) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL COMMENT '户主姓名', `account_no` varchar(100) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL COMMENT '银行卡号', `account_password` varchar(100) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL COMMENT '账户密码', `account_balance` double NULL DEFAULT NULL COMMENT '账户余额', PRIMARY KEY (`id`) USING BTREE ) ENGINE = InnoDB AUTO_INCREMENT = 5 CHARACTER SET = utf8 COLLATE = utf8_bin ROW_FORMAT = Dynamic; INSERT INTO `account_info` VALUES (2, '张三的帐户', '1', '', 10000);
建立bank2库,并导入如下表结构和数据(包含李四帐户)
CREATE DATABASE `bank2` CHARACTER SET 'utf8' COLLATE 'utf8_general_ci'; CREATE TABLE `account_info` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `account_name` varchar(100) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL COMMENT '户主姓名', `account_no` varchar(100) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL COMMENT '银行卡号', `account_password` varchar(100) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL COMMENT '账户密码', `account_balance` double NULL DEFAULT NULL COMMENT '账户余额', PRIMARY KEY (`id`) USING BTREE ) ENGINE = InnoDB AUTO_INCREMENT = 5 CHARACTER SET = utf8 COLLATE = utf8_bin ROW_FORMAT = Dynamic; INSERT INTO `account_info` VALUES (3, '李四的帐户', '2', NULL, 0);
每一个数据库都建立try、confirm、cancel三张日志表:
CREATE TABLE `local_try_log` ( `tx_no` varchar(64) NOT NULL COMMENT '事务id', `create_time` datetime DEFAULT NULL, PRIMARY KEY (`tx_no`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8
CREATE TABLE `local_confirm_log` ( `tx_no` varchar(64) NOT NULL COMMENT '事务id', `create_time` datetime DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8
CREATE TABLE `local_cancel_log` ( `tx_no` varchar(64) NOT NULL COMMENT '事务id', `create_time` datetime DEFAULT NULL, PRIMARY KEY (`tx_no`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8
discover-server是服务注册中心,测试工程将本身注册至discover-server。
导入:资料\基础代码\dtx 父工程,此工程自带了discover-server,discover-server基于Eureka实现。
已经导过不用重复导入。
dtx-tcc-demo是tcc的测试工程,根据业务需求须要建立两个dtx-tcc-demo工程。
(1)导入dtx-tcc-demo
导入:资料\基础代码\dtx-tcc-demo到父工程dtx下。
两个测试工程以下:
dtx/dtx-tcc-demo/dtx-tcc-demo-bank1 银行1,操做张三帐户,链接数据库bank1
dtx/dtx-tcc-demo/dtx-tcc-demo-bank2 银行2,操做李四帐户,链接数据库bank2
(2)引入maven依赖
<dependency> <groupId>org.dromara</groupId> <artifactId>hmily‐springcloud</artifactId> <version>2.0.4‐RELEASE</version> </dependency>
(3)配置hmily
application.yml:
org: dromara: hmily : serializer : kryo recoverDelayTime : 128 retryMax : 30 scheduledDelay : 128 scheduledThreadMax : 10 repositorySupport : db started: true hmilyDbConfig : driverClassName : com.mysql.jdbc.Driver url : jdbc:mysql://localhost:3306/bank?useUnicode=true username : root password : root
新增配置类接收application.yml中的Hmily配置信息,并建立HmilyTransactionBootstrap Bean:
@Bean public HmilyTransactionBootstrap hmilyTransactionBootstrap(HmilyInitService hmilyInitService){ HmilyTransactionBootstrap hmilyTransactionBootstrap = new HmilyTransactionBootstrap(hmilyInitService); hmilyTransactionBootstrap.setSerializer(env.getProperty("org.dromara.hmily.serializer")); hmilyTransactionBootstrap.setRecoverDelayTime(Integer.parseInt(env.getProperty("org.dromara.hmi ly.recoverDelayTime"))); hmilyTransactionBootstrap.setRetryMax(Integer.parseInt(env.getProperty("org.dromara.hmily.retry Max"))); hmilyTransactionBootstrap.setScheduledDelay(Integer.parseInt(env.getProperty("org.dromara.hmily.scheduledDelay"))); hmilyTransactionBootstrap.setScheduledThreadMax(Integer.parseInt(env.getProperty("org.dromara.h mily.scheduledThreadMax"))); hmilyTransactionBootstrap.setRepositorySupport(env.getProperty("org.dromara.hmily.repositorySup port")); hmilyTransactionBootstrap.setStarted(Boolean.parseBoolean(env.getProperty("org.dromara.hmily.st arted"))); HmilyDbConfig hmilyDbConfig = new HmilyDbConfig(); hmilyDbConfig.setDriverClassName(env.getProperty("org.dromara.hmily.hmilyDbConfig.driverClassNa me")); hmilyDbConfig.setUrl(env.getProperty("org.dromara.hmily.hmilyDbConfig.url")); hmilyDbConfig.setUsername(env.getProperty("org.dromara.hmily.hmilyDbConfig.username")); hmilyDbConfig.setPassword(env.getProperty("org.dromara.hmily.hmilyDbConfig.password")); hmilyTransactionBootstrap.setHmilyDbConfig(hmilyDbConfig); return hmilyTransactionBootstrap; }
启动类增长@EnableAspectJAutoProxy并增长org.dromara.hmily的扫描项:
@SpringBootApplication @EnableDiscoveryClient @EnableHystrix @EnableFeignClients(basePackages = {"cn.itcast.dtx.tccdemo.bank1.spring"}) @ComponentScan({"cn.itcast.dtx.tccdemo.bank1","org.dromara.hmily"}) public class Bank1HmilyServer { public static void main(String[] args) { SpringApplication.run(Bank1HmilyServer.class, args); } }
dtx-tcc-demo-bank1实现try和cancel方法,以下:
try: try幂等校验 try悬挂处理 检查余额是够扣减金额 扣减金额 confirm: 空 cancel: cancel幂等校验 cancel空回滚处理 增长可用余额
1)Dao
@Mapper @Component public interface AccountInfoDao { @Update("update account_info set account_balance=account_balance ‐ #{amount} where account_balance>#{amount} and account_no=#{accountNo} ") int subtractAccountBalance(@Param("accountNo") String accountNo, @Param("amount") Double amount); @Update("update account_info set account_balance=account_balance + #{amount} where account_no=#{accountNo} ") int addAccountBalance(@Param("accountNo") String accountNo, @Param("amount") Double amount); /** * 增长某分支事务try执行记录 * @param localTradeNo 本地事务编号 * @return */ @Insert("insert into local_try_log values(#{txNo},now());") int addTry(String localTradeNo); @Insert("insert into local_confirm_log values(#{txNo},now());") int addConfirm(String localTradeNo); @Insert("insert into local_cancel_log values(#{txNo},now());") int addCancel(String localTradeNo); /** * 查询分支事务try是否已执行 * @param localTradeNo 本地事务编号 * @return */ @Select("select count(1) from local_try_log where tx_no = #{txNo} ") int isExistTry(String localTradeNo); /** * 查询分支事务confirm是否已执行 * @param localTradeNo 本地事务编号 * @return */ @Select("select count(1) from local_confirm_log where tx_no = #{txNo} ") int isExistConfirm(String localTradeNo); /** * 查询分支事务cancel是否已执行 * @param localTradeNo 本地事务编号 * @return */ @Select("select count(1) from local_cancel_log where tx_no = #{txNo} ") int isExistCancel(String localTradeNo); }
2)try和cancel方法
@Service @Slf4j public class AccountInfoServiceImpl implements AccountInfoService { private Logger logger = LoggerFactory.getLogger(AccountInfoServiceImpl.class); @Autowired private AccountInfoDao accountInfoDao; @Autowired private Bank2Client bank2Client; @Override @Transactional @Hmily(confirmMethod = "commit", cancelMethod = "rollback") public void updateAccountBalance(String accountNo, Double amount) { //事务id String transId = HmilyTransactionContextLocal.getInstance().get().getTransId(); log.info("******** Bank1 Service begin try... "+transId ); int existTry = accountInfoDao.isExistTry(transId); //try幂等校验 if(existTry>0){ log.info("******** Bank1 Service 已经执行try,无需重复执行,事务id:{} "+transId ); return ; } //try悬挂处理 if(accountInfoDao.isExistCancel(transId)>0 || accountInfoDao.isExistConfirm(transId)>0){ log.info("******** Bank1 Service 已经执行confirm或cancel,悬挂处理,事务id:{} "+transId); return ; } //从帐户扣减 if(accountInfoDao.subtractAccountBalance(accountNo ,amount )<=0){ //扣减失败 throw new HmilyRuntimeException("bank1 exception,扣减失败,事务id:{}"+transId); } //增长本地事务try成功记录,用于幂等性控制标识 accountInfoDao.addTry(transId); //远程调用bank2 if(!bank2Client.test2(amount,transId)){ throw new HmilyRuntimeException("bank2Client exception,事务id:{}"+transId); } if(amount==10){ //异常必定要抛在Hmily里面 throw new RuntimeException("bank1 make exception 10"); } log.info("******** Bank1 Service end try... "+transId ); } @Transactional public void commit( String accountNo, double amount) { String localTradeNo = HmilyTransactionContextLocal.getInstance().get().getTransId(); logger.info("******** Bank1 Service begin commit..."+localTradeNo ); } @Transactional public void rollback( String accountNo, double amount) { String localTradeNo = HmilyTransactionContextLocal.getInstance().get().getTransId(); log.info("******** Bank1 Service begin rollback... " +localTradeNo); if(accountInfoDao.isExistTry(localTradeNo) == 0){ //空回滚处理,try阶段没有执行什么也不用作 log.info("******** Bank1 try阶段失败... 无需rollback "+localTradeNo ); return; } if(accountInfoDao.isExistCancel(localTradeNo) > 0){ //幂等性校验,已经执行过了,什么也不用作 log.info("******** Bank1 已经执行过rollback... 无需再次rollback " +localTradeNo); return; } //再将金额加回帐户 accountInfoDao.addAccountBalance(accountNo,amount); //添加cancel日志,用于幂等性控制标识 accountInfoDao.addCancel(localTradeNo); log.info("******** Bank1 Service end rollback... " +localTradeNo); } }
3)feignClient
@FeignClient(value = "seata‐demo‐bank2", fallback = Bank2Fallback.class) public interface Bank2Client { @GetMapping("/bank2/transfer") @Hmily Boolean transfer(@RequestParam("amount") Double amount); }
4) Controller
@RestController public class Bank1Controller { @Autowired AccountInfoService accountInfoService; @RequestMapping("/transfer") public String test(@RequestParam("amount") Double amount) { this.accountInfoService.updateAccountBalance("1", amount); return "cn/itcast/dtx/tccdemo/bank1" + amount; } }
dtx-tcc-demo-bank2实现以下功能:
try: 空 confirm: confirm幂等校验 正式增长金额 cancel: 空
1)Dao
@Component @Mapper public interface AccountInfoDao { @Update("update account_info set account_balance=account_balance + #{amount} where account_no=#{accountNo} ") int addAccountBalance(@Param("accountNo") String accountNo, @Param("amount") Double amount); /** * 增长某分支事务try执行记录 * @param localTradeNo 本地事务编号 * @return */ @Insert("insert into local_try_log values(#{txNo},now());") int addTry(String localTradeNo); @Insert("insert into local_confirm_log values(#{txNo},now());") int addConfirm(String localTradeNo); @Insert("insert into local_cancel_log values(#{txNo},now());") int addCancel(String localTradeNo); /** * 查询分支事务try是否已执行 * @param localTradeNo 本地事务编号 * @return */ @Select("select count(1) from local_try_log where tx_no = #{txNo} ") int isExistTry(String localTradeNo); /** * 查询分支事务confirm是否已执行 * @param localTradeNo 本地事务编号 * @return */ @Select("select count(1) from local_confirm_log where tx_no = #{txNo} ") int isExistConfirm(String localTradeNo); /** * 查询分支事务cancel是否已执行 * @param localTradeNo 本地事务编号 * @return */ @Select("select count(1) from local_cancel_log where tx_no = #{txNo} ") int isExistCancel(String localTradeNo); }
2)实现confirm方法
@Service @Slf4j public class AccountInfoServiceImpl implements AccountInfoService { @Autowired private AccountInfoDao accountInfoDao; @Override @Transactional @Hmily(confirmMethod = "confirmMethod", cancelMethod = "cancelMethod") public void updateAccountBalance(String accountNo, Double amount) { String localTradeNo = HmilyTransactionContextLocal.getInstance().get().getTransId(); log.info("******** Bank2 Service Begin try ..."+localTradeNo); } @Transactional public void confirmMethod(String accountNo, Double amount) { String localTradeNo = HmilyTransactionContextLocal.getInstance().get().getTransId(); log.info("******** Bank2 Service commit... " +localTradeNo); if(accountInfoDao.isExistConfirm(localTradeNo) > 0){ //幂等性校验,已经执行过了,什么也不用作 log.info("******** Bank2 已经执行过confirm... 无需再次confirm "+localTradeNo ); return ; } //正式增长金额 accountInfoDao.addAccountBalance(accountNo,amount); //添加confirm日志 accountInfoDao.addConfirm(localTradeNo); } @Transactional public void cancelMethod(String accountNo, Double amount) { String localTradeNo = HmilyTransactionContextLocal.getInstance().get().getTransId(); log.info("******** Bank2 Service begin cancel... "+localTradeNo ); } }
3)Controller
@RestController public class Bank2Controller { @Autowired AccountInfoService accountInfoService; @RequestMapping("/transfer") public Boolean test2(@RequestParam("amount") Double amount) { this.accountInfoService.updateAccountBalance("2", amount); return true; } }
张三向李四转帐成功。
李四事务失败,张三事务回滚成功。
张三事务失败,李四分支事务回滚成功。
分支事务超时测试。
若是拿TCC事务的处理流程与2PC两阶段提交作比较,2PC一般都是在跨库的DB层面,而TCC则在应用层面的处理,须要经过业务逻辑来实现。这种分布式事务的实现方式的优点在于,可让应用本身定义数据操做的粒度,使得下降锁冲突、提升吞吐量成为可能。
而不足之处则在于对应用的侵入性很是强,业务逻辑的每一个分支都须要实现try、confirm、cancel三个操做。此外,其实现难度也比较大,须要按照网络状态、系统故障等不一样的失败缘由实现不一样的回滚策略。