java并发编程笔记（十一）——高并发处理思路和手段

java并发编程笔记（十一）——高并发处理思路和手段

扩容

• 垂直扩容（纵向扩展）：提升系统部件能力
• 水平扩容（横向扩容）：增长更多系统成员来实现

缓存

缓存特征

命中率：命中数/（命中数+没有命中数）

1、影响因素

• 业务场景和业务需求
• 缓存的设计（粒度和策略）
• 缓存的容量和基础设施

2、缓存分类和应用场景

• 本地缓存：编程实现（成员变量，局部变量，静态变量）、Guava Cache
• 分布式缓存：Memcache、Redis

3、经常使用组件

• Guava Cache

  public class GuavaCacheExample1 {
  
      public static void main(String[] args) {
  
          LoadingCache<String, Integer> cache = CacheBuilder.newBuilder()
                  .maximumSize(10) // 最多存放10个数据
                  .expireAfterWrite(10, TimeUnit.SECONDS) // 缓存10秒
                  .recordStats() // 开启记录状态数据功能
                  .build(new CacheLoader<String, Integer>() {
                      @Override
                      public Integer load(String key) throws Exception {
                          return -1;
                      }
                  });
  
          log.info("{}", cache.getIfPresent("key1")); // null
          cache.put("key1", 1);
          log.info("{}", cache.getIfPresent("key1")); // 1
          cache.invalidate("key1");
          log.info("{}", cache.getIfPresent("key1")); // null
  
          try {
              log.info("{}", cache.get("key2")); // -1
              cache.put("key2", 2);
              log.info("{}", cache.get("key2")); // 2
  
              log.info("{}", cache.size()); // 1
  
              for (int i = 3; i < 13; i++) {
                  cache.put("key" + i, i);
              }
              log.info("{}", cache.size()); // 10
  
              log.info("{}", cache.getIfPresent("key2")); // null
  
              Thread.sleep(11000);
  
              log.info("{}", cache.get("key5")); // -1
  
              log.info("{},{}", cache.stats().hitCount(), cache.stats().missCount());
  
              log.info("{},{}", cache.stats().hitRate(), cache.stats().missRate());
          } catch (Exception e) {
              log.error("cache exception", e);
          }
      }
  }

• Memcache

• Redis

最大元素（空间）：缓存大小

清空策略：FIFO、LFO、LRU、过时时间，随机等

FIFO: 先进先出策略

LFO:最少使用策略

LRU:最近最少使用策略

高并发场景下缓存常见问题

缓存一致性

形成这种问题的场景：

• 更新数据库成功--更新缓存失败--数据不一致
• 更新缓存成功--更新数据库失败--数据不一致
• 更新数据库成功--淘汰缓存失败--数据不一致
• 淘汰缓存成功--更新数据库失败--查询缓存miss

缓存并发问题

同时大量请求访问缓存未命中，而后大量请求同时访问数据库形成数据库压力增大，解决办法是加锁，避免同时执行

缓存穿透问题

某个查询结果为空，致使缓存为存储，所以大量请求会去查询数据库，形成对数据库的压力大增

解决办法：

一、缓存空对象，缓存时间要短，适合命中率不高，可是须要频繁修改的数据

二、进行单独过滤处理，对全部可能结果为空的请求进行统一存放，而且对请求进行拦截，避免请求到数据库对数据库形成大量压力

缓存雪崩现象

致使缘由：缓存并发，缓存穿透等

解决办法：过时时间设置随机数，避免同时失效10

消息队列

特性

• 业务无关：只作消息分发
• FIFO：先投递先到达
• 容灾：节点的动态增长和消息的持久化
• 性能：吞吐量提高，系统内部通讯效率提升

为何须要消息队列

• 【生产和消费】的速度或稳定性等因素不一致

消息队列的好处

• 业务解耦
• 最终一致性
• 广播
• 错峰和流控

举例

• Kafka
• RabbitMQ

应用拆分

拆分原则

• 业务优先
• 按部就班
• 兼顾技术：重构、分层
• 可靠测试

须要考虑的问题

• 应用之间的通讯：RPC（dubbo等）、消息队列
• 应用之间数据数据库设计：每一个应用都有独立的数据库
• 避免事务操做跨应用

通讯工具

• dubbo
• springCloud

应用限流

经常使用限流算法

• 计数器法

• 滑动窗口法

• 漏桶算法

• 令牌桶算法（Guava RateLimit）

  @Slf4j
  public class RateLimiterExample1 {
  
      private static RateLimiter rateLimiter = RateLimiter.create(5);
  
      public static void main(String[] args) throws Exception {
  
          for (int index = 0; index < 100; index++) {
              if (rateLimiter.tryAcquire(190, TimeUnit.MILLISECONDS)) {
                  handle(index);
              }
          }
      }
  
      private static void handle(int i) {
         log.info("{}", i);
      }
  }

  @Slf4j
  public class RateLimiterExample2 {
  
      private static RateLimiter rateLimiter = RateLimiter.create(5);
  
      public static void main(String[] args) throws Exception {
  
          for (int index = 0; index < 100; index++) {
              rateLimiter.acquire();
              handle(index);
          }
      }
  
      private static void handle(int i) {
         log.info("{}", i);
      }
  }

  Guava RateLimiter是单机版的限流

  若是是分布式能够采用 分布式限流：

  能够采用Redis做为中间组件，使用Redis的incrby key num 方法

服务降级与服务熔断

服务降级

• 自动降级：超时、失败次数、故障、限流
• 人工降级：秒杀、双11大促

服务熔断

总结

共性：目的、最终表现、粒度、自治

区别：

• 触发缘由、管理目标层次、实现方式

服务降级要考虑的问题

• 核心服务、非核心服务
• 是否支持降级、降级策略
• 业务放通场景，策略

Hystrix

• 在经过第三方客户端访问（一般是经过网络）依赖服务出现高延迟或者失败时，为系统提供保护和控制。
• 在分布式系统中防止级联失败
• 快速失败（fail fast）同时能快速恢复
• 提供失败回退（Fallback）和优雅的服务降级机制
• 提供近实时的监控、报警和运维控制手段

数据库切库、分库、分表

数据库瓶颈

• 单个库数据量太大（1T~2T）:多个库
• 单个数据库服务器压力过大、读写瓶颈：多个库
• 单个表数据量过大:分表

数据库切库

• 切库的基础及实际运用：读写分离

• 自定义注解完成数据库切库-代码实现

• 支持多数据源、分库

• 数据库支持多个数据源-代码实现

数据库分表

• 何时考虑分表
• 横向（水平）分表和纵向（垂直）分表
• 数据库分表:mybatis分表插件shardbatis2.0

高可用的一些手段

• 任务调度系统分布式：elastic-job+zookeeper
• 主备切换：apache curator + zookeeper分布式锁实现
• 监控报警机制