Redis修行 — 位图实战
学 无 止 境 ， 与 君 共 勉 。php
介绍
按照官网的说法，Redis位图Bitmaps不是实际的数据类型，而是在字符串类型上定义的一组面向位的操做。在Redis中字符串限制最大为512MB，因此位图中最大能够设置2^32个不一样的位（42.9亿个）。图位的最小单位是比特(bit)，每一个bit的值只能是0或1。css
位图的存储大小计算： （maxOffset / 8 / 1024 / 1024）MB。其中maxOffset为位图的最大位数java
基本用法
SETBIT key offset value
设置指定key的值在offset处的bit值，offset从0开始。返回值为在offset处原来的bit值git
# 经过位操做将 h 改为 i
127.0.0.1:6379> SET h h # 二进制为 01101000
OK
127.0.0.1:6379> SETBIT h 7 1 # 将最后一位改为1 => 01101001
(integer) 0
127.0.0.1:6379> GET h
"i"
复制代码
GETBIT key offset
获取指定key的值在offset处的bit值，offset从0开始。若是offset超出了当前位图的范围，则返回0。github
127.0.0.1:6379> set i i # 二进制为 01101001
OK
127.0.0.1:6379> getbit i 0 # 第1位为0
(integer) 0
127.0.0.1:6379> getbit i 1 # 第2位为0
(integer) 1
127.0.0.1:6379> getbit i 7 # 第8位为0
(integer) 1
复制代码
BITCOUNT key [start end]
统计指定key值中被设置为1的bit数。能够经过指定参数star和end来限制统计范围。web
注意，这里的star和end不是指bit的下标，而是字节(byte)的下标。好比start为1，则实际对应的bit下标为8（1byte = 8 bit）redis
127.0.0.1:6379> set hi hi # 二进制为 0110100001101001
OK
127.0.0.1:6379> bitcount hi # 全部是1的位数：7个
(integer) 7
127.0.0.1:6379> bitcount hi 1 2 # 即统计 01101001 中1的位数
(integer) 4
复制代码
BITPOS key bit [start] [end]
统计首次出现的0或1的bit位，能够经过start和end来指定范围，一样是指字节的下标。数据库
- 在不存在的key或者空字符串中查找1，则返回-1
- 在全部bit都为1中查找bit为0的状况下，返回字符串最右边的第一个空位
127.0.0.1:6379> get nilkey # 不存在的key
(nil)
127.0.0.1:6379> bitpos nilkey 1 # 在不存在的key中查首次出现1的位
(integer) -1
127.0.0.1:6379> setbit nilkey 0 0 # 空字符串
(integer) 0
127.0.0.1:6379> get nilkey
"\x00"
127.0.0.1:6379> bitpos nilkey 1
(integer) -1
复制代码
BITOP operation destkey key [key …]
对一个或多个二进制位字符串进行操做，并将结果保存到 destkey 上。当某个字符串长度不够时，对应的位用0补上ruby
- AND（逻辑与）：都为1返回1，不然返回0
127.0.0.1:6379> set a a # 二进制 01100001
OK
127.0.0.1:6379> set c c # 二进制 01100011
OK
127.0.0.1:6379> bitop and destkey a c # 与操做 01100001 -> a
(integer) 1
127.0.0.1:6379> get destkey
"a"
复制代码
- OR（逻辑或）：只要有一个1就返回1，不然返回0
127.0.0.1:6379> set a a # 二进制 01100001
OK
127.0.0.1:6379> set b b # 二进制 01100010
OK
127.0.0.1:6379> bitop or destkey a b # 或操做 01100011 -> c
(integer) 1
127.0.0.1:6379> get destkey
"c"
127.0.0.1:6379>
复制代码
- XOR（逻辑异或）：当都是0或者都是1时返回0，不然返回1
127.0.0.1:6379> set a a # 二进制 01100001
OK
127.0.0.1:6379> set z Z # 二进制 01011010 (大写的Z)
OK
127.0.0.1:6379> bitop xor destkey a z # 异或 00111011 -> ; 分号
(integer) 1
127.0.0.1:6379> get destkey
";"
复制代码
- NOT（逻辑非）：取反，1变成0，0变成1。只能传入一个要操做的key
01010101 -> 10101010
复制代码
场景实战
这里用一个用户签到的例子来说解如何在实战中应用，需求：微信
- 实现用户签到
- 统计今天全部的签到数量
- 获取指定用户整年的签到数
- 统计近7天连续签到的用户数量
- 统计本月所有签到过的用户数量
- 统计近7天有过签到的用户数量
使用位图的好处：
- 最直观的一点占用存储少，1我的1年的数据也就365 bit，46个字节；
- 经过位运算操做多个字符串，效率高；
- 当别人还在用数据库记录签到信息的时候，你用位图操做，逼格一下就上去了；
这里基于SpringBoot进行演示:
- 天天的签到状况做为一条记录，key格式为
sign:{yyyyMMdd} - 用户ID做为偏移量
用户签到
将用户ID做为偏移量，经过setBit设置该位置的值为1
查询用户今天是否已经签到了
将用户ID做为偏移量，经过getBit查询该位置上的值是否为1
统计今天全部的签到数量
经过bitCount去实现统计
统计指定用户整年的签到数
Redis中并无提供对多个二进制位字符串进行求和操做，咱们须要本身去统计。思路：
- 获取本年全部签到记录的key列表，即
sign:2020开头的key，能够经过Redis指令keys sign:2020*获取 - 遍历获取到的key列表，统计已经签到过的key的数量
统计近7天连续签到的用户数量
- 对近7天的签到记录的进行
逻辑与操做，生成一个连续七天签到的记录 - 对生成的记录进行bitCount
统计近7天有过签到的用户数量
和统计7天连续签到思路同样，只是这里使用逻辑或操做
完整代码
Service
@Service
public class RedisService {
private final StringRedisTemplate stringRedisTemplate;
public RedisService(StringRedisTemplate stringRedisTemplate) {
this.stringRedisTemplate = stringRedisTemplate;
}
/**
* 获取指定格式的key
*
* @param pattern 格式
* @return set
*/
public Set<String> getKeys(String pattern) {
return stringRedisTemplate.keys(pattern);
}
/**
* 设置指定位的值
*
* @param key 键
* @param offset 偏移量 0开始 对应bit的位置
* @param value true为1，false为0
* @return boolean
*/
public Boolean setBit(String key, long offset, boolean value) {
return stringRedisTemplate.opsForValue().setBit(key, offset, value);
}
/**
* 获取指定位的值
*
* @param key 键
* @param offset 偏移量 0开始
* @return boolean
*/
public Boolean getBit(String key, long offset) {
return stringRedisTemplate.opsForValue().getBit(key, offset);
}
/**
* 统计字符串被设置为1的bit数
*
* @param key 键
* @return long
*/
public Long bitCount(String key) {
return stringRedisTemplate.execute(
(RedisCallback<Long>) connection -> connection.bitCount(key.getBytes())
);
}
/**
* 统计字符串指定位上被设置为1的bit数
*
* @param key 键
* @param start 开始位置 注意对应byte的位置,是bit位置*8
* @param end 结束位置
* @return long
*/
public Long bitCount(String key, long start, long end) {
return stringRedisTemplate.execute(
(RedisCallback<Long>) connection -> connection.bitCount(key.getBytes(), start, end)
);
}
/**
* 不一样字符串之间进行位操做
*
* @param op 操做类型：与、或、异或、否
* @param destKey 最终存放结构的键
* @param keys 要操做的键
* @return Long
*/
public Long bitOp(RedisStringCommands.BitOperation op, String destKey, Collection<String> keys) {
int size = keys.size();
byte[][] bytes = new byte[size][];
int index = 0;
for (String key : keys) {
bytes[index++] = key.getBytes();
}
return stringRedisTemplate.execute((RedisCallback<Long>) con -> con.bitOp(op, destKey.getBytes(), bytes));
}
/**
* 对符合指定格式的key值进行未操做
*
* @param op 操做类型：与、或、异或、否
* @param destKey 存放结果的键
* @param pattern key格式
* @return Long
*/
public Long bitOp(RedisStringCommands.BitOperation op, String destKey, String pattern) {
Set<String> keys = getKeys(pattern);
int size = keys.size();
if (size == 0) {
return 0L;
}
byte[][] bytes = new byte[size][];
int index = 0;
for (String key : keys) {
bytes[index++] = key.getBytes();
}
return stringRedisTemplate.execute((RedisCallback<Long>) con -> con.bitOp(op, destKey.getBytes(), bytes));
}
}
复制代码
controller
@RestController
@RequestMapping("/redis/bit")
public class BitMapController {
private final DateTimeFormatter formatters = DateTimeFormatter.ofPattern("yyyyMMdd");
/**
* 定义签到前缀
* key格式为 sing:{yyyyMMdd}
*/
private static final String SIGN_PREFIX = "sign:";
/**
* 连续一周签到
*/
private static final String SIGN_ALL_WEEK_KEY = "signAllWeek";
/**
* 连续一个月签到
*/
private static final String SIGN_ALL_MONTH_KEY = "signAllMonth";
/**
* 一周内有签到过的
*/
private static final String SIGN_IN_WEEK_KEY = "signInWeek";
private final RedisService redisService;
public BitMapController(RedisService redisService) {
this.redisService = redisService;
}
/**
* 初始化本年今天以前的测试数据
*/
@GetMapping("/init")
public void initData() {
// 获取本年的日期列表
List<String> dateKeyList = new ArrayList<>();
LocalDate curDate = LocalDate.now();
LocalDate beginDate = LocalDate.parse("2020-01-01");
while (beginDate.isBefore(curDate)) {
dateKeyList.add(SIGN_PREFIX + beginDate.format(formatters));
beginDate = beginDate.plusDays(1);
}
// 是否签到
boolean isSign;
StringBuilder signInfo;
for (int i = 1; i < 6; i++) {
signInfo = new StringBuilder("用户【").append(i).append("】：");
for (String dateKey : dateKeyList) {
if (i == 1) {
// 用户1所有签到
isSign = true;
} else {
// 其余用户随机
isSign = Math.random() > 0.5;
}
redisService.setBit(dateKey, i, isSign);
signInfo.append(isSign ? 1 : 0).append(", ");
}
System.out.println(signInfo.toString());
}
}
/**
* 用户当天签到
* 用户ID做为位图的偏移量
*/
@GetMapping("/sign/{userId}")
public String sign(@PathVariable Long userId) {
redisService.setBit(SIGN_PREFIX + getCurDate(), userId, true);
return "签到成功";
}
/**
* 查询用户今天是否已经签到了
*/
@GetMapping("/isSign/{userId}")
public String isSign(@PathVariable Long userId) {
Boolean isSign = redisService.getBit(SIGN_PREFIX + getCurDate(), userId);
if (isSign) {
return String.format("用户【%d】今日已签到", userId);
}
return String.format("用户【%d】今日还没有签到，请签到", userId);
}
/**
* 统计今天全部的签到数量
*/
@GetMapping("/todayCount")
public String todayCount() {
return String.format("今日已签到人数: %d", redisService.bitCount(SIGN_PREFIX + getCurDate()));
}
/**
* 统计指定用户整年的签到数
*/
@GetMapping("/userYearSign/{userId}")
public String userYearSign(@PathVariable Long userId) {
int year = LocalDate.now().getYear();
// 获取全部的key
Set<String> keys = redisService.getKeys(SIGN_PREFIX + year + "*");
/*
* 可使用BitSet 去存储用户天天的签到信息，用于其余的操做
* BitSet users = new BitSet();
* 统计全部已经签到的数量 对应 redis的bitCount
* users.cardinality()
*/
int signCount = 0;
for (String key : keys) {
if (redisService.getBit(key, userId)) {
signCount++;
}
}
return String.format("本年已累计签到： %d 次", signCount);
}
/**
* 统计近7天连续签到的用户数量
* 逻辑与
*/
@GetMapping("/signAllWeek")
public String signAllWeek() {
List<String> weekDays = getWeekKeys();
redisService.bitOp(RedisStringCommands.BitOperation.AND, SIGN_ALL_WEEK_KEY, weekDays);
return String.format("近7天连续签到用户数：%d", redisService.bitCount(SIGN_ALL_WEEK_KEY));
}
/**
* 统计本月所有签到过的用户数量
*/
@GetMapping("/signAllMonth")
public String signAllMonth() {
redisService.bitOp(
RedisStringCommands.BitOperation.AND,
SIGN_ALL_MONTH_KEY,
SIGN_PREFIX + LocalDate.now().getYear()
);
return String.format("月所有签到过的用户数：%d", redisService.bitCount(SIGN_ALL_MONTH_KEY));
}
/**
* 统计近7天有过签到的用户数量，只签到1次也算
* 逻辑或
*/
@GetMapping("/signInWeek")
public String signInWeek() {
List<String> weekDays = getWeekKeys();
redisService.bitOp(RedisStringCommands.BitOperation.OR, SIGN_IN_WEEK_KEY, weekDays);
return String.format("近7天有过签到的用户数：%d", redisService.bitCount(SIGN_IN_WEEK_KEY));
}
/**
* 获取当天的日期
*
* @return yyyyMMdd
*/
private String getCurDate() {
return LocalDate.now().format(formatters);
}
/**
* 获取近一周的日期对应的key
*/
private List<String> getWeekKeys() {
List<String> dateList = new ArrayList<>();
LocalDate curDate = LocalDate.now();
dateList.add(SIGN_PREFIX + curDate.format(formatters));
for (int i = 1; i < 7; i++) {
dateList.add(SIGN_PREFIX + curDate.plusDays(-i).format(formatters));
}
return dateList;
}
}
复制代码
补充
- 上述例子中咱们默认用户ID是数字类型，若是大家的用户ID是字符串的，那么能够将用户ID做为key，取当天是今年的第几天做为偏移量，这样一天记录就是一我的整年的签到记录；
- 在进行
BITOP操做时会从新生成一个结果的key，能够在天天凌晨经过定时任务去统计以前的记录来生成这个结果key，这样在业务中就能够直接经过这个结果key来统计数据
访问源码
全部代码均上传至Github上，方便你们访问
平常求赞
创做不易，若是各位以为有帮助，求点赞 支持
求关注
微信公众号： 俞大仙
相关文章
- 1. Redis之位图和HyperLogLog实战详解
- 2. Redis Sentinel 实战-故障自动修复
- 3. Redis-位图
- 4. redis位图
- 5. Redis之位图
- 6. Redis--位图BitMap
- 7. Redis实现排行榜功能(实战)
- 8. Redis应用-位图
- 9. Redis之bitMap（位图）
- 10. redis 位图操做
- 更多相关文章...
- • MySQL修改视图（ALTER VIEW） - MySQL教程
- • R 绘图 - 饼图 - R 语言教程
- • Docker容器实战(七) - 容器眼光下的文件系统
- • Java Agent入门实战（一）-Instrumentation介绍与使用
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. 「插件」Runner更新Pro版，帮助设计师远离996
- 2. 错误 707 Could not load file or assembly ‘Newtonsoft.Json, Version=12.0.0.0, Culture=neutral, PublicKe
- 3. Jenkins 2018 报告速览，Kubernetes使用率跃升235%！
- 4. TVI-Android技术篇之注解Annotation
- 5. android studio启动项目
- 6. Android的ADIL
- 7. Android卡顿的检测及优化方法汇总（线下+线上）
- 8. 登录注册的业务逻辑流程梳理
- 9. NDK(1)创建自己的C/C++文件
- 10. 小菜的系统框架界面设计-你的评估是我的决策
欢迎关注本站公众号,获取更多信息
相关文章
- 1. Redis之位图和HyperLogLog实战详解
- 2. Redis Sentinel 实战-故障自动修复
- 3. Redis-位图
- 4. redis位图
- 5. Redis之位图
- 6. Redis--位图BitMap
- 7. Redis实现排行榜功能(实战)
- 8. Redis应用-位图
- 9. Redis之bitMap（位图）
- 10. redis 位图操做