使用消息队列扩展异步执行的实现方式

背景

你可能在你的项目中用过Spring的@Async注解,以此来将部分方法转化为异步执行,从而提升请求的响应效率java

但在服务架构不断的演进之中,这种丢入线程池处理的方式带来的缺陷也愈发明显:git

  • 不利于监控
  • 若是意外停机,还没有处理的任务会尽数丢失
  • 在集群中的某个节点要处理大量异步任务时,没法将压力分担到集群中其余节点
  • 项目中若集成了使用ThreadLocal特性的模块或第三方组件,须要注意上下文丢失的问题

思路

使用消息队列做为异步任务的实现方式,这样咱们就能够:github

  • 大量成熟的MQ中间件都提供了可视化管理平台,监控更加方便
  • 能够用消息队列Header来保存上下文,如用户信息、token等
  • 消息队列的发布-订阅模式能够最大程度利用集群的业务处理能力
  • 更容易保证任务的顺序性
  • 若是有服务节点宕机,能够利用消息确认、消息重试等机制保证任务执行的正确性

实现

为了保证业务代码和实现方案解耦,相似于@Aync方案,咱们一样采用注解+拦截器的方式进行逻辑注入spring

@Around("@annotation(org.springframework.amqp.rabbit.annotation.RabbitListener)")
	public Object cut(ProceedingJoinPoint pjp) throws Throwable {
		...
	}

实现思路大同小异,就是读取注解中的队列声明确认发布-订阅关系,而后以丢入消息队列来替换丢入线程池 架构

private String resolveKey(Queue[] queues) {
		String s = this.beanFactory.resolveEmbeddedValue(queues[0].value());
		return (String) resolver.evaluate(s, evalContext);
	}
rabbitTemplate.convertAndSend(resolveKey(queues), args[0]);

为消息队列注入Json转换器,方便对象传输app

@Bean
    public Jackson2JsonMessageConverter producerJackson2MessageConverter() {
        return new Jackson2JsonMessageConverter();
    }

若有须要,咱们能够将上下文的用户信息、token等写入消息的Header中异步

private MessagePostProcessor beforePublishPostProcessor() {
        return message -> {
//          setting up context to message header
            return message;
        };
    }

被异步调用的service代码:this

@Service
@Slf4j
public class DemoService {
    
    @RabbitListener(queuesToDeclare = @Queue("mytestqueue"))
    public void checkSome(List<String> tagTuple) {
        log.warn("check here {}", tagTuple);
    }
}

调用service的controller:lua

@RestController
public class DemoController {
    
    @Autowired
    private DemoService demoService;
    
    @RequestMapping("check")
    public Integer checkSome() {
        ArrayList<String> tagTuple = new ArrayList<>();
        tagTuple.add("bar");
        tagTuple.add("foo");
        demoService.checkSome(tagTuple);
        return 0;
    }
}

执行查看效果spa

17:00:14.584TRACE[AbstractHandlerMapping.java:411]Mapped to org.smop.duplex.sample.DemoController#checkSome()
17:00:21.263WARN [DemoService.java:16]check here [bar, foo]

若有帮助或启发,还请点个👍

附代码仓库:

https://github.com/s-mop/homer

相关文章
相关标签/搜索