关于Redis热点key的一些思考

关于Redis热点key的一些思考

昨天在和一个已经跳槽的同事聊天时，询问他这段时间面试时碰到的一些问题。本身也想积累一下这方面的知识。其中他说了在面试某赞公司时面试官问他关于热点Key的的解决方案。因而针对此次谈话以及上网查的一些资料后的思考进行一下总结。方便后续本身查阅。

什么是热点Key

其实对于热点Key，网上一查一大堆，这里我就引用网上的一段话。

从基于用户消费的数据远远大于生产的数据的角度来说，咱们日常使用的知乎等软件时，大多数人日常仅仅只是浏览，并不会去提问问题、发表的文章，偶尔会发表本身的文章或者见解，这就是一个典型的读多写少的情景，固然此类情景不太容易致使热点的产生。

在平常工做生活中一些突发的的事件，诸如：“双11”期间某些热门商品的降价促销，当这其中的某一件商品被数万次点击、购买时，会造成一个较大的需求量，这种状况下就会产生一个单一的Key，这样就会引发一个热点；同理，当被大量刊发、浏览的热点新闻，热点评论等也会产生热点；另外，在服务端读数据进行访问时，每每会对数据进行分片切分，此类过程当中会在某一主机Server上对相应的Key进行访问，当访问超过主机Server极限时，就会致使热点Key问题的产生。

如何解决？

针对于热点Key的解决方案网上的查找出来无非就是两种

• 服务端缓存：即将热点数据缓存至服务端的内存中
• 备份热点Key：即将热点Key+随机数，随机分配至Redis其余节点中。这样访问热点key的时候就不会所有命中到一台机器上了。

其实这两个解决方案前提都是知道了热点Key是什么的状况，那么如何找到热点key呢？

热点检测

1. 凭借经验，进行预估：例如提早知道了某个活动的开启，那么就将此Key做为热点Key
2. 客户端收集：在操做Redis以前对数据进行统计
3. 抓包进行评估：Redis使用TCP协议与客户端进行通讯，通讯协议采用的是RESP，因此能进行拦截包进行解析
4. 在proxy层，对每个 redis 请求进行收集上报
5. Redis自带命令查询：Redis4.0.4版本提供了redis-cli –hotkeys就能找出热点Key

若是要用Redis自带命令查询时，要注意须要先把内存逐出策略设置为allkeys-lfu或者volatile-lfu，不然会返回错误。进入Redis中使用 config set maxmemory-policy allkeys-lfu便可。

服务端缓存

假设咱们已经统计出了一些热点Key，将这些数据缓存到了服务端，那么还有一个问题。就是如何保证Redis和服务端热点Key的数据一致性。我这里想到的解决方案是利用Redis自带的消息通知机制，对于热点Key客户端创建一个监听，当热点Key有更新操做的时候，客户端也随之更新。

主要代码以下，监听类负责接收到Redis的事件，而后筛选出热点Key进行相应的动做

public class KeyExpiredEventMessageListener implements MessageListener {

    @Autowired
    private RedisTemplate redisTemplate;

    @Override
    public void onMessage(Message message, byte[] pattern) {
        String key = new String(message.getChannel());
        key = key.substring(key.indexOf(":")+1);
        String action = new String(message.getBody());
        if (HotKey.containKey(key)){
            String value = redisTemplate.opsForValue().get(key)+"";
            switch (action){
                case "set":
                    log.info("热点Key:{} 修改",key);
                    HotKeyAction.UPDATE.action(key,value);
                    break;
                case "expired":
                    log.info("热点Key:{} 到期删除",key);
                    HotKeyAction.REMOVE.action(key,null);
                    break;
                case "del":
                    log.info("热点Key:{} 删除",key);
                    HotKeyAction.REMOVE.action(key,null);
                    break;
            }
        }
    }
}

创建一个存储热点Key的数据结构ConcurrentHashMap，并设置相应的操做方法，这里设置了假数据，在static代码块中直接设置了两个热点Key

public class HotKey {

    private static Map<String,String> hotKeyMap = new ConcurrentHashMap<>();
    private static List<String> hotKeyList = new CopyOnWriteArrayList<>();

    static {
        setHotKey("hu1","1");
        setHotKey("hu2","2");
    }

    public static void setHotKey(String key,String value){
        hotKeyMap.put(key,value);
        hotKeyList.add(key);
    }

    public static void updateHotKey(String key,String value){
        hotKeyMap.put(key,value);
    }

    public static String getHotValue(String key){
        return hotKeyMap.get(key);
    }

    public static void removeHotKey(String key){
        hotKeyMap.remove(key);
    }

    public static boolean containKey(String key){
        return hotKeyList.contains(key);
    }
}

其实用Redis的事件通知机制挺很差的，由于只要开启了事件通知，那么每一个Key的变化都会发消息，这样也会无缘无故的加剧Redis服务器的负担。固然我只是简单的演示一下，除了这种通知方案之外还有不少种方法。

备份热点Key

这个方案提及来其实也很简单，就是不要让key走到一台机器上就行，可是咱们知道在Redis集群中包含了16384个哈希槽(Hash slot)，集群使用公式CRC16(key) % 16384来计算Key属于哪一个槽。那么同一个Key计算出来的值应该都是同样的，如何将Key分到其余机器上呢？只要再后面加上随机数就好了，这样就能保证同一个Key分布在不一样机器上，在访问的时候经过Key+随机数的方式进行访问。

伪代码以下

const M = N * 2
//生成随机数
random = GenRandom(0, M)
//构造备份新key
bakHotKey = hotKey + “_” + random
data = redis.GET(bakHotKey)
if data == NULL {
     //从数据库中取数据
    data = GetFromDB()
    //存放在Redis中，以便下次能取到
    redis.SET(bakHotKey, expireTime + GenRandom(0,5))
}

代码地址Github

参考文章

• http://mysql.taobao.org/monthly/2018/09/08/
• http://www.javashuo.com/article/p-evdnylkx-q.html