面试官:你说说redis经常使用数据结构有哪些呢?面试
面试者:String(字符串),list(链表),hash(哈希),set(集合),zset(有序集合)redis
面试官:那你说说redis的string的底层具体实现呢?json
面试者:额?数组
首先咱们知道redis全部的数据结构都是以一个惟一的key来做为名称,而后经过这个惟一的key去获取相应的value数据,不一样的数据结构的差异就在于value的数据结构不同。缓存
今天咱们就先从最简单的string来作一些深刻的了解。字符串的使用很是的普遍,好比咱们常常用来缓存用户的信息,将用户的信息经过JSON序列化成一个字符串,而后经过用户的id或者code来将序列化之后的json字符串缓存到redis中,当要使用的时候将json字符串从redis中获取到,再通过一次反序列化之后就能够获取到用户的信息了。 网络
一:string相关的经常使用命令数据结构
二:上面咱们对redis的string数据结构的使用和常见命令有了一些了解以后,咱们接下来就能够对string的底层数据结果作一些深刻了解了。分布式
struct SDS<T> { T capacity; // 数组分配的容量 T len; // 实际数据的长度 byte flags; byte[] content; // 真的的数据是存在这个字节数组里面的。函数
}spa
capacity表示的是当前分配的字节数组的长度,而len表示的是当前字符串的真实长度,当初始化的时候,capacity和len是同样大的,可是在后期进行分配的时候,就会出现下图的状况capacity大于len,具体缘由是当字符串的长度小于1M的时候,容量增长都是加倍现有的空间,当实际长度超过1M之后,实际扩容的时候,只会增长1M的空间,为何这么操做呢?是由于若是数组没有多余的冗余空间,那么当在追加内容的时候,就必需要分配新的数组,而且将旧数组的内容拷贝过去,再追加内容,这样就分配内存和复制的开销就会比较大,因此采起了一种空间换时间的作法。可是须要咱们注意的是,字符串的容量最大不能超过512M。
上面咱们说到的是redis的string的数据结构,其实只是它的具体数据的存储结构,对于redis来讲,每种数据结构都有一个相同的结构头,结构头的具体内容以下:
struct RedisObject { int4 type; // 4bits,用来表示不一样的对象,好比字符串,链表,集合,哈希,有序集合等 int4 encoding; // 4bits ,用来表示不一样的存储结构,好比一样的都是字符串,
可是若是字符串的大小不等,那么结构也会有些差异 int24 lru; // 24bits 用来记录当前对象的lru信息 int32 refcount; // 4bytes 对象的引用计数,
当对象的引用计数为0的时候,对象就会被销毁,内存被回收 void *ptr; // 8bytes,64-bit system} robj; //指向实际存储数据的指针,
好比指向咱们上面提到的那个sds
那么为何要设计一个对象头呢?实际上是由于,咱们对于一样的数据结构,
若是它存储的内容的大小不同,咱们须要有不一样的存储方式,存储方式须要有个地方
来保存,那么咱们天然就想到设计一个公共头,来保存这些信息,可能这么说,
你们不是很理解,不要紧我给你们举个实际例子,一下就明白了。
咱们看到上面,咱们都是string数据结构,可是当咱们的vlaue的大小不同的时候,conten的内容不同,表示存储的结构不同。
从上图咱们能够看到,embstr这种存储结构,是将对象头和数据部分直接分配在一个连续内存空间里面的,而raw这种数据结构,是分配了两个内存空间,它们在内存上是不连续的。那么问题来了?何时使用embstr存储格式,何时使用raw存储格式呢?答案下面揭晓。
首先咱们先计算一下即便不存储任何内容的embstr字符串须要多少内存呢?RedisObject+SDS,首先RedisObject须要(4+4+24+32+64)/8=16个字节,而SDS即便不存储任何内容也须要3个字节的内容,最少也须要16+3=19个字节.其次咱们知道操做系统使用jmalloc和tmalloc进行内存的分配,而内存分配的单位都是2的N次方,因此是2,4,8,16,32,64等字节,为了可以容纳一个embstr,因此操做系统最少也要分配32个字节的空间,可是这样的话,可以存储的内容也太少了,根本知足不了平常使用,因此默认直接分配64个字节,在redis中,若是一个总体占用超过了64个字节空间的字符串,redis就认为是一个大字符串,使用raw格式了,那么在64个字节的状况下,除去其余部分占用的19个字节,还剩下45个字节可以使用,可是redis方便glibc函数的使用,以及方便调试和打印,在字符串内容的末尾加上了一个\0的占位符,因此实际可以使用的只有44个字节。因此咱们得出结论,embstr可以最多存储4个字符串的内容。固然这些都是基于redis4.0版本获得的,其余版本由于结构不同,可能获得的结论不同,可是上面的内容你们不用刻意去记忆,了解一下就好。
三:总结一下,redis的string底层数据结构使用的是sds,可是sds有两种存储方式,一种是embstr,一种是raw,它们的区别在于,是否和redisObject对象头分配在一个连续的空间里面。当总体占用空间超过1M的时候,使用raw格式,当小于1M的时候使用embstr,而embstr最多可以存储44个字节的内容。固然对于redis来讲,string的value最大不能超过512M。