幂等设计

时间 2019-11-07

原文原文链接

最近作的项目的性能调优中关于幂等设计的一些总结html

场景：假设有这样一个方法，包含了一些DB操做，check if existing then update else save. 若是两个线程同时去执行这个方法，而且他们处理的是同一条数据，指望应该是其中一个线程是save，另一个是update。可是有可能线程的处理时间至关重合，线程A在check的时候，线程B也在check，这时A和B都认为数据不存在，都去save，在数据库有unique 约束的状况下其中一个操做会失败，而咱们指望的多是后面一个操做应该update（取决于具体业务）。前端

这是很典型的多线程问题，check － then do something，在单系统环境中这很容易用线程同步来处理(syncronised). 可是若是是分布式系统，这两个线程在不一样的server上面，syncronised 是不会起效的，并且同步每每下降效率，并非咱们想要的。node

拥有相同参数的屡次请求对系统形成的反作用应该是相同的，这就是幂等性。在这个例子里面就是说保证相同的ID组合只会插入一条数据到DB里面，若是一个请求是save，后续的都应该update这条。在单系统中也能够用幂等的设计来规避使用syncronized，由于那会下降效率。通常状况下数据库就能保证这种幂等性－－用unique关键字，以上面的场景为例，假如其中一个线程的save操做失败，咱们能够用catch 特定的exception而后判断是否是要进行update操做的方式来试图保证幂等。在分布式系统中更应该考虑幂等设计，尤为是高并发，高性能要求下。并发量高的状况下，线程的冲突很容易发生。即便是小几率时间，也是必然会发生的。mysql

咱们系统的实际需求是须要在一个方法里面作很大DB操做，其中就包括了check if existing then update else save，开始的时候咱们估计重复数据的几率很小，可是在后来的性能测试中发现仍是会出现，咱们的测试并发量是30000 TPS左右，有8个node。nginx

分布式系统中必定要考虑幂等的设计，由于相较于进行分布式事务设计，幂等设计轻量级的多。程序员

1. 若是接入的是服务端，能够由服务端确保生成惟一的标识符redis

2. 若是是接入最终用户的浏览器，则能够由本身的服务器先生成一个标识符发送给浏览器，当用户提交表单的时候，以此来认证是否为二次提交。sql

3. 若是确认为二次提交，则把第一次的处理结果再次返给请求端数据库

分布式系统---幂等性设计编程

　　WEB资源或API方法的幂等性是指一次和屡次请求某一个资源应该具备一样的反作用。幂等性是系统的接口对外一种承诺(而不是实现), 承诺只要调用接口成功, 外部屡次调用对系统的影响是一致的。幂等性是分布式系统设计中的一个重要概念，对超时处理、系统恢复等具备重要意义。声明为幂等的接口会认为外部调用失败是常态, 而且失败以后必然会有重试。例如，在因网络中断等缘由致使请求方未能收到请求返回值的状况下，若是该资源具有幂等性，请求方只须要从新请求便可，而无需担忧重复调用会产生错误。实际上，咱们经常使用的HTTP协议的方法是具备幂等性语义要求的，好比：get方法用于获取资源，不该有反作用，所以是幂等的；post方法用于建立资源，每次请求都会产生新的资源，所以不具有幂等性；put方法用于更新资源，是幂等的；delete方法用于删除资源，也是幂等的。

常见用来保证幂等的手段：

1.MVCC方案 　　多版本并发控制，该策略主要使用update with condition（更新带条件来防止）来保证屡次外部请求调用对系统的影响是一致的。在系统设计的过程当中，合理的使用乐观锁，经过version或者updateTime（timestamp）等其余条件，来作乐观锁的判断条件，这样保证更新操做即便在并发的状况下，也不会有太大的问题。例如

1 2	`select` `*` `from` `tablename` `where` `condition=#condition#` `//取出要跟新的对象，带有版本versoin` `update tableName` `set` `name=#name#,version=version+1` `where` `version=#version#`

　　在更新的过程当中利用version来防止，其余操做对对象的并发更新，致使更新丢失。为了不失败，一般须要必定的重试机制。

2.去重表 　　在插入数据的时候，插入去重表，利用数据库的惟一索引特性，保证惟一的逻辑。

3.悲观锁

　　select for update，整个执行过程当中锁定该订单对应的记录。注意：这种在DB读大于写的状况下尽可能少用。

4. select + insert 　　并发不高的后台系统，或者一些任务JOB，为了支持幂等，支持重复执行，简单的处理方法是，先查询下一些关键数据，判断是否已经执行过，在进行业务处理，就能够了。注意：核心高并发流程不要用这种方法。

5.状态机幂等 　　在设计单据相关的业务，或者是任务相关的业务，确定会涉及到状态机，就是业务单据上面有个状态，状态在不一样的状况下会发生变动，通常状况下存在有限状态机，这时候，若是状态机已经处于下一个状态，这时候来了一个上一个状态的变动，理论上是不可以变动的，这样的话，保证了有限状态机的幂等。

6. token机制，防止页面重复提交

　　业务要求：页面的数据只能被点击提交一次　　发生缘由：因为重复点击或者网络重发，或者nginx重发等状况会致使数据被重复提交解决办法：

集群环境：采用token加redis（redis单线程的，处理须要排队）
单JVM环境：采用token加redis或token加jvm内存

处理流程：

数据提交前要向服务的申请token，token放到redis或jvm内存，token有效时间
提交后后台校验token，同时删除token，生成新的token返回

　　token特色:要申请，一次有效性，能够限流

7. 对外提供接口的api如何保证幂等

　　如银联提供的付款接口：须要接入商户提交付款请求时附带：source来源，seq序列号。source+seq在数据库里面作惟一索引，防止屡次付款，(并发时，只能处理一个请求)

　　总结：幂等性应该是合格程序员的一个基因，在设计系统时，是首要考虑的问题，尤为是在像支付宝，银行，互联网金融公司等涉及的都是钱的系统，既要高效，数据也要准确，因此不能出现多扣款，多打款等问题，这样会很难处理，用户体验也很差。

内容目录：

幂等概念来自数学，表示N次变换和1次变换的结果是相同的。这里讨论在某些场景下，客户端在调用服务没有达到预期结果时，会进行屡次调用，为避免屡次重复的调用对服务资源产生反作用，服务提供者会承诺知足幂等。

举个栗子，双十一零点刚过，小明就火烧眉毛地点击提交订单按钮，选择在线支付，点了确认支付按钮，这时候网络有些慢，小明担忧心爱的商品被抢购一空，就点了屡次确认付款按钮，若是这个订单扣款屡次，客服热线估计会被小明打爆。

什么是幂等性

HTTP/1.1中对幂等性的定义是：一次和屡次请求某一个资源对于资源自己应该具备一样的反作用（网络超时等问题除外）。也就是说，其任意屡次执行对资源自己所产生的影响均与一次执行的影响相同。

Methods can also have the property of “idempotence” in that (aside from error or expiration issues) the side-effects of N > 0 identical requests is the same as for a single request.

这里须要关注几个重点：

幂等不只仅只是一次（或屡次）请求对资源没有反作用（好比查询数据库操做，没有增删改，所以没有对数据库有任何影响）。
幂等还包括第一次请求的时候对资源产生了反作用，可是之后的屡次请求都不会再对资源产生反作用。
幂等关注的是之后的屡次请求是否对资源产生的反作用，而不关注结果。
网络超时等问题，不是幂等的讨论范围。

幂等性是系统服务对外一种承诺（而不是实现），承诺只要调用接口成功，外部屡次调用对系统的影响是一致的。声明为幂等的服务会认为外部调用失败是常态，而且失败以后必然会有重试。

什么状况下须要幂等

业务开发中，常常会遇到重复提交的状况，不管是因为网络问题没法收到请求结果而从新发起请求，或是前端的操做抖动而形成重复提交状况。在交易系统，支付系统这种重复提交形成的问题有尤为明显，好比：

用户在APP上连续点击了屡次提交订单，后台应该只产生一个订单；
向支付宝发起支付请求，因为网络问题或系统BUG重发，支付宝应该只扣一次钱。 很显然，声明幂等的服务认为，外部调用者会存在屡次调用的状况，为了防止外部屡次调用对系统数据状态的发生屡次改变，将服务设计成幂等。

幂等VS防重

上面例子中小明遇到的问题，只是重复提交的状况，和服务幂等的初衷是不一样的。重复提交是在第一次请求已经成功的状况下，人为的进行屡次操做，致使不知足幂等要求的服务屡次改变状态。而幂等更多使用的状况是第一次请求不知道结果（好比超时）或者失败的异常状况下，发起屡次请求，目的是屡次确认第一次请求成功，却不会因屡次请求而出现屡次的状态变化。

什么状况下须要保证幂等性

以SQL为例，有下面三种场景，只有第三种场景须要开发人员使用其余策略保证幂等性：

SELECT col1 FROM tab1 WHER col2=2，不管执行多少次都不会改变状态，是自然的幂等。
UPDATE tab1 SET col1=1 WHERE col2=2，不管执行成功多少次状态都是一致的，所以也是幂等操做。
UPDATE tab1 SET col1=col1+1 WHERE col2=2，每次执行的结果都会发生变化，这种不是幂等的。

为何要设计幂等性的服务

幂等可使得客户端逻辑处理变得简单，可是却以服务逻辑变得复杂为代价。知足幂等服务的须要在逻辑中至少包含两点：

首先去查询上一次的执行状态，若是没有则认为是第一次请求
在服务改变状态的业务逻辑前，保证防重复提交的逻辑

幂等的不足

幂等是为了简化客户端逻辑处理，却增长了服务提供者的逻辑和成本，是否有必要，须要根据具体场景具体分析，所以除了业务上的特殊要求外，尽可能不提供幂等的接口。

增长了额外控制幂等的业务逻辑，复杂化了业务功能；
把并行执行的功能改成串行执行，下降了执行效率。

保证幂等策略

幂等须要经过惟一的业务单号来保证。也就是说相同的业务单号，认为是同一笔业务。使用这个惟一的业务单号来确保，后面屡次的相同的业务单号的处理逻辑和执行效果是一致的。下面以支付为例，在不考虑并发的状况下，实现幂等很简单：①先查询一下订单是否已经支付过，②若是已经支付过，则返回支付成功；若是没有支付，进行支付流程，修改订单状态为‘已支付’。

防重复提交策略

上述的保证幂等方案是分红两步的，第②步依赖第①步的查询结果，没法保证原子性的。在高并发下就会出现下面的状况：第二次请求在第一次请求第②步订单状态尚未修改成‘已支付状态’的状况下到来。既然得出了这个结论，余下的问题也就变得简单：把查询和变动状态操做加锁，将并行操做改成串行操做。

乐观锁

若是只是更新已有的数据，没有必要对业务进行加锁，设计表结构时使用乐观锁，通常经过version来作乐观锁，这样既能保证执行效率，又能保证幂等。例如： UPDATE tab1 SET col1=1,version=version+1 WHERE version=#version# 不过，乐观锁存在失效的状况，就是常说的ABA问题，不过若是version版本一直是自增的就不会出现ABA的状况。（从网上找了一张图片很能说明乐观锁，引用过来，出自Mybatis对乐观锁的支持）

防重表

使用订单号orderNo作为去重表的惟一索引，每次请求都根据订单号向去重表中插入一条数据。第一次请求查询订单支付状态，固然订单没有支付，进行支付操做，不管成功与否，执行完后更新订单状态为成功或失败，删除去重表中的数据。后续的订单由于表中惟一索引而插入失败，则返回操做失败，直到第一次的请求完成（成功或失败）。能够看出防重表做用是加锁的功能。

分布式锁

这里使用的防重表可使用分布式锁代替，好比Redis。订单发起支付请求，支付系统会去Redis缓存中查询是否存在该订单号的Key，若是不存在，则向Redis增长Key为订单号。查询订单支付已经支付，若是没有则进行支付，支付完成后删除该订单号的Key。经过Redis作到了分布式锁，只有此次订单订单支付请求完成，下次请求才能进来。相比去重表，将放并发作到了缓存中，较为高效。思路相同，同一时间只能完成一次支付请求。

token令牌

这种方式分红两个阶段：申请token阶段和支付阶段。第一阶段，在进入到提交订单页面以前，须要订单系统根据用户信息向支付系统发起一次申请token的请求，支付系统将token保存到Redis缓存中，为第二阶段支付使用。第二阶段，订单系统拿着申请到的token发起支付请求，支付系统会检查Redis中是否存在该token，若是存在，表示第一次发起支付请求，删除缓存中token后开始支付逻辑处理；若是缓存中不存在，表示非法请求。实际上这里的token是一个信物，支付系统根据token确认，你是你妈的孩子。不足是须要系统间交互两次，流程较上述方法复杂。

支付缓冲区

把订单的支付请求都快速地接下来，一个快速接单的缓冲管道。后续使用异步任务处理管道中的数据，过滤掉重复的待支付订单。优势是同步转异步，高吞吐。不足是不能及时地返回支付结果，须要后续监听支付结果的异步返回。

我是葛一凡，但愿对你有帮助。微信公众号