架构师的初级技能，选组件！（2020更新版）

原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。前端

2020年新版，对部分组件的描述进行了更新。19年文章参见这里。若是你在作选型方面的工做，或者想了解一些如今正在流行的技术，那么这篇文章正好适合你。java

本篇内容涵盖14个方面，涉及上百个框架和工具。会有你喜欢的，大概也会有你所讨厌的家伙。这是我日常工做中打交道最多的工具，大小公司都适用。若是你有更好的，欢迎留言补充。mysql

1、消息队列
2、缓存
3、分库分表
4、数据同步
5、通信
6、微服务
7、分布式工具
8、监控系统
9、调度
10、入口工具
11、OLT（A）P
12、CI/CD
十3、问题排查
十4、本地工具
复制代码

1、消息队列

√ 推荐：(1) 吞吐量优先选择kafka
(2) 稳定性优先选择RocketMQ
(3) 物联网：VerneMQ

一个大型的分布式系统，一般都会异步化，走消息总线。 消息队列做为最主要的基础组件，在整个体系架构中，有着及其重要的做用。异步一般意味着编程模型的改变，时效性会下降。linux

kafka是目前最经常使用的消息队列，尤为是在大数据方面，有着极高的吞吐量。而rocketmq和rabbitmq，都是电信级别的消息队列，在业务上用的比较多。相比较而言，ActiveMQ使用的最少，属于较老一代的消息框架。nginx

pulsar是为了解决一些kafka上的问题而诞生的消息系统，比较年轻，工具链有限。有些激进的团队通过试用，反响不错，但实际使用并很少。git

mqtt具体来讲是一种协议，主要用在物联网方面，可以双向通讯，属于消息队列范畴，推荐使用vernemq。程序员

2、缓存

√ 推荐：(1) 堆内缓存使用默认的caffeine
(2) 分布式缓存采用redis的cluster集群模式，但要注意使用限制

数据缓存是减小数据库压力的有效途径，有单机java内缓存，和分布式缓存之分。spring

对于单机来讲，guava的LoadingCache和ehcache都是些熟面孔，不过SpringBoot选择了caffeine做为它的默认堆内缓存，这是由于caffeine的速度比较快的缘由。sql

对于分布式缓存来讲，优先选择的就是redis，别犹豫。因为redis是单线程的（6.0支持多线程，但默认不开启），并不适合高耗时操做。因此对于一些数据量比较大的缓存，好比图片、视频等，使用老牌的memcached效果会好的多。

JetCache是一个基于Java的缓存系统封装，提供统一的api和注解来简化缓存的使用。相似SpringCache，支持本地缓存和分布式缓存，也是简化开发的利器。

3、分库分表

√ 推荐：shardingsphere中的sharding-jdbc

分库分表，几乎每个上点规模的公司，都会有本身的方案。目前，推荐使用驱动层的sharding-jdbc（已经进入apache），或者代理层的mycat。若是你没有额外的运维团队，又不想花钱买其余机器，那么就选前者。

若是分库分表涉及的项目很少，spring的动态数据源是一个很是好的选择。它直接编码在代码里，直观但不易扩展。

若是只须要读写分离 ，那么mysql官方驱动里的replication协议，是更加轻量级的选择。

上面的分库分表组件，都是大浪淘沙，最终的优胜品。这些组件不一样于其余组件选型，方案一旦肯定，几乎没法回退，因此要慎之又慎。

分库分表是小case，准备分库分表的阶段，才是重点：也就是数据同步。

4、数据同步

√ 推荐：canal

国内使用mysql的公司居多，但postgresql凭借其优异的性能，使用率逐渐攀升。

无论什么数据库，实时数据同步工具，都是把本身模拟成一个从库，进行数据拉取和解析。 具体来讲，mysql是经过binlog进行同步；postgresql使用wal日志进行同步。

对mysql来讲，canal是国内用的最多的方案；相似的databus也是比较好用的工具。

如今，canal、maxwell等工具，都支持将要同步的数据写入到mq中，进行后续处理，方便了不少。

对于ETL（抽取、清洗、转换）来讲，基本上都是source、task、sink路线，与前面的功能对应。gobblin、datax、logstash、sqoop等，都是这样的工具。

它们的主要工做，就是怎么方便的定义配置文件，编写各类各样的数据源适配接口等。这些ETL工具，也能够做为数据同步（尤为是全量同步）的工具，一般是根据ID，或者最后更新时间 等，进行处理。

binlog是实时增量工具，ETL工具作辅助。一般一个数据同步功能，须要多个组件的参与，他们共同组成一个总体。

5、通信

√ 推荐：http+json，方便调试。高性能要求可选二进制协议

Java 中，netty已经成为当之无愧的网络开发框架，包括其上的socketio（不要再和我提mina了）。对于http协议，有common-httpclient，以及更加轻量级的工具okhttp来支持。

对于一个rpc来讲，要约定一个通信方式和序列化方式。json是最经常使用的序列化方式，可是传输和解析成本大，xml等文本协议与其相似，都有不少冗余的信息；avro和kryo是二进制的序列化工具，没有这些缺点，但调试不便。

rpc是远程过程调用的意思 ，其中，thrift、dubbo、gRPC默认都是二进制序列化方式的socket通信框架；feign、hessian都是onhttp的远程调用框架。

对了，gRPC的序列化工具是protobuf，一个压缩比很高的二进制序列化工具。

一般，服务的响应时间主要耗费在业务逻辑以及数据库上，通信层耗时在其中的占比很小。能够根据本身公司的研发水平和业务规模来选择。

相关文章：
「网络开发」使用Netty，咱们到底在开发些什么？
「WS」WebSocket协议 8 问

6、微服务

√ 推荐：（1）注册中心：consul
（2）网关：nginx+Gateway
（3）配置中心：Apollo
（4）调用链：Skywalking
（5）熔断：resilience4j

咱们不止一次说到微服务，这一次咱们从围绕它的一堆支持框架，来窥探一下这个体系。是的，这里依然是在说spring cloud。

默认的注册中心eureka再也不维护，consul已经成为首选，它使用raft协议开发开箱即用。nacos、zookeeper等，均可以做为备选方案。其中nacos带有后台，比较适合国人使用习惯。

熔断组件，官方的hystrix也已经不维护了。推荐使用resilience4j，最近阿里的sentinel也表现强劲。

对于调用链来讲，因为OpenTracing的兴起，有了不少新的面孔。推荐使用jaeger或者skywalking。spring cloud集成的sleuth+zipkin功能稍弱，甚至不如传统侵入式的cat。

配置中心是管理多环境配置文件的利器，尤为在你不想重启服务器的状况下进行配置更新。目前，开源中作的最好的要数apollo，并提供了对spring boot的支持。disconf使用也较为普遍。相对来讲，spring cloud config功能就局限了些，用的不多。

网关方面，使用最多的就是nginx，在nginx之上，有基于lua脚本的openrestry。因为openresty的使用很是繁杂，因此有了kong这种封装级别更高的网关。

对于spring cloud来讲，zuul系列推荐使用zuul2，zuul1是多线程阻塞的，有硬伤。spring-cloud-gateway是spring cloud亲生的，Spring Cloud 大力支持，基于 Spring5.0 的新特性 WebFlux 进行开发。底层网络通讯框架采用的是 Netty，吞吐量高。

7、分布式工具

你们都知道分布式系统zookeeper能用在不少场景，与其相似的还有基于raft协议的etcd和consul。

因为它们可以保证极高的一致性，因此用做协调工具是再好不过了。用途集中在：配置中心、分布式锁、命名服务、分布式协调、master选举等场所。

对于分布式事务方面，则有阿里的fescar工具进行支持。但如非特别的必要，仍是使用柔性事务，追寻最终一致性，比较好。

8、监控系统

√ 推荐：prometheus + grafana + telegraf
日志收集：大量ELKB，小量loki

监控系统组件种类繁多，目前，最流行的大概就是上面四类。

zabbix在主机数量很少的状况下，是很是好的选择。

prometheus来势凶猛，大有一统天下的架势。它也可使用更加漂亮的grafana进行前端展现。

influxdata的influxdb和telegraf组件，都比较好用，主要是功能很全。

使用es存储的elkb工具链，也是一个较好的选择。我所知道的不少公司，都在用。

9、调度

√ 推荐：xxl-job

你们可能都用过cron表达式。这个表达式，最初就是来自linux的crontab工具。

quartz是java中比较古老的调度方案，分布式调度采用数据库锁的方式，管理界面须要自行开发。

elastic-job-cloud应用比较普遍，但系统运维复杂，学习成本较高。相对来讲，xxl-job就更加轻量级一些。中国人开发的系统，后台都比较漂亮。

10、入口工具

√ 推荐：lvs

为了统一用户的访问路口，通常会使用一些入口工具进行支持。

其中，haproxy、lvs、keepalived等，使用很是普遍。

服务器通常采用稳定性较好的centos，并配备ansible工具进行支持，那叫一个爽。

11、OLT（A）P

√ 推荐：ES

如今的企业，数据量都很是大，数据仓库是必须的。

搜索方面，solr和elasticsearch比较流行，它们都是基于lucene的。solr比较成熟，稳定性更好一些，但实时搜索方面不如es。

列式存储方面，基于Hadoop 的hbase，使用最是普遍；基于LSM的leveldb写入性能优越，但目前主要是做为嵌入式引擎使用多一些。

tidb是国产新贵，兼容mysql协议，公司经过培训向外输出dba，将来可期。

时序数据库方面，opentsdb用在超大型监控系统多一些。druid和kudu，在处理多维度数据实时聚合方面，更胜一筹。

cassandra在刚出现时火了一段时间，虽然有facebook弃用的新闻，但生态已经造成，常年霸占数据库引擎前15名。

12、CI/CD

.jpg)

为了支持持续集成和虚拟化，除了耳熟能详的docker，咱们还有其余工具。

jenkins是打包发布的首选，毕竟这么多年了，一直是老大哥。固然，写Idea的那家公司，还出了一个叫TeamCity的工具，操做界面很是流畅。

solor不得不说是一个神器，用了它以后，小伙伴们的代码一片飘红，我都快被吐沫星子给淹没了。

对于公司内部来讲，通常使用gitlab搭建git服务器。其实，它里面的gitlab CI，也是很是好用的。

Harbor，在 docker registry 基础上扩展了权限控制，审计，镜像同步，管理界面等治理能力，推荐使用。

调度方面，k8sGoogle 开源，社区的强力推进，有大量的落地方案。Rancher对k8s进行了功能的拓展，实现了和k8s集群交互的一些便捷工具，包括执行命令行，管理多个 k8s集群，查看k8s集群节点的运行状态等，推荐集成。

十3、问题排查

java常常发生内存溢出问题。使用jmap导出堆栈后，我通常使用mat进行深刻分析。

若是在线上实时分析，有arthas和perf两款工具。

固然，有大批量的linux工具进行支持。

十4、本地工具

本地使用的jar包和工具，那就多了去了。下面仅仅提一下最最经常使用的几个。

数据库链接池方面，国内使用druid最多。目前，有号称速度最快的hikari数据库链接池，以及老掉牙的dbcp和c3p0。

json方面，国内使用fastjson最多，三天两头冒出个漏洞；国外则使用jackson多一些。它们的api都相似，jackson特性多一些，但fastjson更加容易使用。鉴于fastjson频繁出现安全问题，如今已经掀起了一股去fastjson的浪潮。

工具包方面，虽然有各类commons包，guava首选。

End

今天是2020年9月08日。

这种文章，每年我都会整理一次。有些新面孔，也有些被我我的t出局。架构选型，除了你自己对某项技术比较熟悉，用起来更放心。更多的是须要进行大量调研、对比，直到掌握。

技术突飞猛进，新瓶装旧酒，名词一箩筐，程序员很辛苦。惟有那背后的基础原理，大道至简的思想，经久不衰。

做者简介：小姐姐味道 (xjjdog)，一个不容许程序员走弯路的公众号。聚焦基础架构和Linux。十年架构，日百亿流量，与你探讨高并发世界，给你不同的味道。