实际系统中有不少操做,是无论作多少次,都应该产生同样的效果或返回同样的结果。例如:前端
前端重复提交选中的数据,应该后台只产生对应这个数据的一个反应结果。nginx
咱们发起一笔付款请求,应该只扣用户帐户一次钱,当遇到网络重发或系统bug重发,也应该只扣一次钱;程序员
发送消息,也应该只发一次,一样的短信发给用户,用户会哭的;redis
等等不少重要的状况,这些逻辑都须要幂等的特性来支持。sql
幂等性概念数据库
幂等(idempotent、idempotence)是一个数学与计算机学概念,常见于抽象代数中。编程
在编程中.一个幂等操做的特色是其任意屡次执行所产生的影响均与一次执行的影响相同。幂等函数,或幂等方法,是指可使用相同参数重复执行,并能得到相同结果的函数。api
这些函数不会影响系统状态,也不用担忧重复执行会对系统形成改变。例如,“getUsername()和setTrue()”函数就是一个幂等函数.安全
更复杂的操做幂等保证是利用惟一交易号(流水号)实现.网络
个人理解:幂等就是一个操做,不论执行多少次,产生的效果和返回的结果都是同样的
技术方案
查询操做 查询一次和查询屡次,在数据不变的状况下,查询结果是同样的。select是自然的幂等操做
3.惟一索引,防止新增脏数据 好比:支付宝的资金帐户,支付宝也有用户帐户,每一个用户只能有一个资金帐户,怎么防止给用户建立资金帐户多个,那么给资金帐户表中的用户ID加惟一索引,因此一个用户新增成功一个资金帐户记录
要点: 惟一索引或惟一组合索引来防止新增数据存在脏数据 (当表存在惟一索引,并发时新增报错时,再查询一次就能够了,数据应该已经存在了,返回结果便可)
业务要求:
页面的数据只能被点击提交一次
发生缘由:因为重复点击或者网络重发,或者nginx重发等状况会致使数据被重复提交
解决办法:集群环境:采用token加redis(redis单线程的,处理须要排队) 单JVM环境:采用token加redis或token加jvm内存
处理流程:
数据提交前要向服务的申请token,token放到redis或jvm内存,token有效时间
提交后后台校验token,同时删除token,生成新的token返回
token特色:
要申请,一次有效性,能够限流
注意:redis要用删除操做来判断token,删除成功表明token校验经过,若是用select+delete来校验token,存在并发问题,不建议使用
获取数据的时候加锁获取
select * from table_xxx where id='xxx' for update;
注意:id字段必定是主键或者惟一索引,否则是锁表,会死人的
悲观锁使用时通常伴随事务一块儿使用,数据锁定时间可能会很长,根据实际状况选用
乐观锁只是在更新数据那一刻锁表,其余时间不锁表,因此相对于悲观锁,效率更高。
乐观锁的实现方式多种多样能够经过version或者其余状态条件:
一、经过版本号实现
update table_xxx set name=#name#,version=version+1 where version=#version#`
以下图(来自网上):
二、经过条件限制
update tablexxx set avaiamount=avaiamount-#subAmount# where avaiamount-#subAmount# >= 0`
要求:quality-#subQuality# >= ,这个情景适合不用版本号,只更新是作数据安全校验,适合库存模型,扣份额和回滚份额,性能更高
注意:乐观锁的更新操做,最好用主键或者惟一索引来更新,这样是行锁,不然更新时会锁表,上面两个sql改为下面的两个更好
`update tablexxx set name=#name#,version=version+1 where id=#id# and version=#version#update tablexxx set avaiamount=avaiamount-#subAmount# where id=#id# and avai_amount-#subAmount# >= 0`
仍是拿插入数据的例子,若是是分布是系统,构建全局惟一索引比较困难,例如惟一性的字段无法肯定
这时候能够引入分布式锁,经过第三方的系统(redis或zookeeper),在业务系统插入数据或者更新数据,获取分布式锁,而后作操做,以后释放锁
这样实际上是把多线程并发的锁的思路,引入多多个系统,也就是分布式系统中得解决思路。
要点:某个长流程处理过程要求不能并发执行,能够在流程执行以前根据某个标志(用户ID+后缀等)获取分布式锁,其余流程执行时获取锁就会失败,也就是同一时间该流程只能有一个能执行成功,执行完成后,释放分布式锁(分布式锁要第三方系统提供)
并发不高的后台系统,或者一些任务JOB,为了支持幂等,支持重复执行,简单的处理方法是,先查询下一些关键数据,判断是否已经执行过,在进行业务处理,就能够了
注意:核心高并发流程不要用这种方法
在设计单据相关的业务,或者是任务相关的业务,确定会涉及到状态机(状态变动图),就是业务单据上面有个状态,状态在不一样的状况下会发生变动,通常状况下存在有限状态机
若是状态机已经处于下一个状态,这时候来了一个上一个状态的变动,理论上是不可以变动的,这样的话,保证了有限状态机的幂等。
注意:订单等单据类业务,存在很长的状态流转,必定要深入理解状态机,对业务系统设计能力提升有很大帮助
如银联提供的付款接口:须要接入商户提交付款请求时附带:source来源,seq序列号
source+seq在数据库里面作惟一索引,防止屡次付款,(并发时,只能处理一个请求)
重点 对外提供接口为了支持幂等调用,接口有两个字段必须传,一个是来源source,一个是来源方序列号seq,这个两个字段在提供方系统里面作联合惟一索引
这样当第三方调用时,先在本方系统里面查询一下,是否已经处理过,返回相应处理结果;没有处理过,进行相应处理,返回结果。
注意,为了幂等友好,必定要先查询一下,是否处理过该笔业务,不查询直接插入业务系统,会报错,但实际已经处理了。
总结幂等性应该是合格程序员的一个基因,在设计系统时,是首要考虑的问题,尤为是在像支付宝,银行,互联网金融公司等涉及的都是钱的系统,既要高效,数据也要准确,因此不能出现多扣款,多打款等问题,这样会很难处理,用户体验也很差