redis深入学习笔记（一） --- String

快来打我* 2023-06-27 06:20 39阅读 0赞

redis的五种数据类型string、list、hash、set、zset用起来很好用，用法也很简单，但是对底层的具体原理并没有了解过，不懂底层的程序员不是一个好程序员，所以我打算以博客的形式做成笔记来学习redis的底层和进阶知识。

# 一、用法 #

字符串string是redis最简单的数据结构。以key/value的形式在redis中存在，redis所有的数据结构都是以唯一的key字符串作为名称，然后通过这个唯一key值来获取相应的value数据。

![20200104215921714.png][]

可以对String类型进行操作的命令：

### **基础命令** ###

<table> 
 <tbody> 
  <tr> 
   <td style="width:100px;">命令</td> 
   <td style="width:281px;">行为</td> 
   <td style="width:299px;">格式</td> 
   <td style="width:167px;">时间复杂度</td> 
  </tr> 
  <tr> 
   <td style="width:100px;">get</td> 
   <td style="width:281px;">获取存储在给定键中的值</td> 
   <td style="width:299px;">get&nbsp; key</td> 
   <td style="width:167px;">O(1)</td> 
  </tr> 
  <tr> 
   <td style="width:100px;">set</td> 
   <td style="width:281px;">设置存储在给定键中的值</td> 
   <td style="width:299px;">set key value</td> 
   <td style="width:167px;">O(1)</td> 
  </tr> 
  <tr> 
   <td style="width:100px;">del</td> 
   <td style="width:281px;">删除存储在给定键中的值</td> 
   <td style="width:299px;">del key</td> 
   <td style="width:167px;">O(1)</td> 
  </tr> 
  <tr> 
   <td style="width:100px;">mget</td> 
   <td style="width:281px;">批量获取执行key的value</td> 
   <td style="width:299px;">mget key1 key2 key // 返回一个列表</td> 
   <td style="width:167px;">O(n), n为指定key个数</td> 
  </tr> 
  <tr> 
   <td style="width:100px;">mset</td> 
   <td style="width:281px;">批量设置字符串键值对</td> 
   <td style="width:299px;">mset key1 value1 key2 value2</td> 
   <td style="width:167px;">O(n), n为指定key个数</td> 
  </tr> 
  <tr> 
   <td style="width:100px;">msetnx</td> 
   <td style="width:281px;">效果如同执行多个setnx，但是该操作只要有一个key已存在就都不会再执行了，也就是只有在所有给定的键值对不存在时给所有键值赋值，有一个已存在就都不执行。</td> 
   <td style="width:299px;">msetnx key1 value1 key2 value2..</td> 
   <td style="width:167px;">O(n), n为指定key个数</td> 
  </tr> 
  <tr> 
   <td style="width:100px;">getset</td> 
   <td style="width:281px;">获取old value 并设置 new value</td> 
   <td style="width:299px;">getset key1 new_value</td> 
   <td style="width:167px;">O(1)</td> 
  </tr> 
  <tr> 
   <td style="width:100px;">expire</td> 
   <td style="width:281px;">给指定的key设置过期时间</td> 
   <td style="width:299px;">expire key 5&nbsp; // 5s 后过期</td> 
   <td style="width:167px;">O(1)</td> 
  </tr> 
  <tr> 
   <td style="width:100px;">setnx</td> 
   <td style="width:281px;">如果key值不存在就执行set操作，存在不执行</td> 
   <td style="width:299px;">setnx key value</td> 
   <td style="width:167px;">O(n), n为指定key个数</td> 
  </tr> 
  <tr> 
   <td style="width:100px;">incr</td> 
   <td style="width:281px;">如果value是一个整数，可以进行自增操作因为redis是单线程的，所以该操作没有并发隐患，可以放心使用</td> 
   <td style="width:299px;">incr key 1&nbsp; // 自增1</td> 
   <td style="width:167px;">O(1)</td> 
  </tr> 
  <tr> 
   <td style="width:100px;">append</td> 
   <td style="width:281px;">将value添加到指定key的字符串结尾</td> 
   <td style="width:299px;">append key value</td> 
   <td style="width:167px;">O(n),n为被推入值的长度</td> 
  </tr> 
  <tr> 
   <td style="width:100px;">strlen</td> 
   <td style="width:281px;">获取指定key的value长度</td> 
   <td style="width:299px;">strlen key</td> 
   <td style="width:167px;">&nbsp; O(1)</td> 
  </tr> 
 </tbody> 
</table>

### 数字操作 ###

<table> 
 <tbody> 
  <tr> 
   <td style="width:99px;">命令</td> 
   <td style="width:280px;">行为</td> 
   <td style="width:302px;">格式</td> 
   <td style="width:167px;">时间复杂度</td> 
  </tr> 
  <tr> 
   <td style="width:99px;">incrby</td> 
   <td style="width:280px;">将key所存储的值加上指定增量</td> 
   <td style="width:302px;">incrby key increment // 增加increment</td> 
   <td style="width:167px;">O(1)</td> 
  </tr> 
  <tr> 
   <td style="width:99px;">incr</td> 
   <td style="width:280px;">相当于incrby key 1</td> 
   <td style="width:302px;">incr key //指定key的值增加1</td> 
   <td style="width:167px;">O(1)</td> 
  </tr> 
  <tr> 
   <td style="width:99px;">decrby</td> 
   <td style="width:280px;">将key所存储的值减少指定减量</td> 
   <td style="width:302px;">decrby key&nbsp;decrement // 减少decrement</td> 
   <td style="width:167px;">O(1)</td> 
  </tr> 
  <tr> 
   <td style="width:99px;">decr</td> 
   <td style="width:280px;">相当于decrby key 1</td> 
   <td style="width:302px;">decr key //执行key的值减少1</td> 
   <td style="width:167px;">O(1)</td> 
  </tr> 
  <tr> 
   <td style="width:99px;">incrbyfloat</td> 
   <td style="width:280px;">将key所存储的值加上浮点型增量，没有相对应的decrbyfloat命令，但是可以通过该命令的负数实现</td> 
   <td style="width:302px;">incrbyfloat key&nbsp;increment</td> 
   <td style="width:167px;">&nbsp; O(1)</td> 
  </tr> 
 </tbody> 
</table>

### 字符串拓展操作 ###

<table> 
 <tbody> 
  <tr> 
   <td style="width:99px;">命令</td> 
   <td style="width:279px;">行为</td> 
   <td style="width:305px;">格式</td> 
   <td style="width:165px;">时间复杂度</td> 
  </tr> 
  <tr> 
   <td style="width:99px;">setrange</td> 
   <td style="width:279px;">覆盖指定key的指定位置开始的字符串</td> 
   <td style="width:305px;">setrange key index value //将指定key的字符串从index位置开始覆盖为value</td> 
   <td style="width:165px;">O(n)</td> 
  </tr> 
  <tr> 
   <td style="width:99px;">getrange</td> 
   <td style="width:279px;">获取指定key指定位置的值</td> 
   <td style="width:305px;">getrange key start end //&nbsp;获取指定key的从start到end位置的字符串</td> 
   <td style="width:165px;">O(n)</td> 
  </tr> 
 </tbody> 
</table>

# 二、底层实现 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvZGVIYW9IYW8_size_16_color_FFFFFF_t_70][]

redis的字符串是动态字符串，是可以修改的字符串，内部结构的实现类似于java中的ArrayList，采用预分配冗余空间的方式来减少内存的频繁分配，如上图所示，其中capacity为字符串所占的内存空间，而len是字符串所占用的实际长度，之所以设计为冗余空间是因为append命令，如果没有冗余空间，那么追加操作一定会涉及到分配新数组，然后将旧内容复制过来，再append，这样内存的开销就会特别大。同时扩容时当字符串长度小于1M时，每次扩容都是加倍现有空间，即扩容后空间为现在的2倍，但是如果超过1M，每次扩容时只会最多增加1M，同时需要注意字符串的最大长度为512M。

内部结构：

struct SDS<T>{
        T capacity; // 数组容量
        T len; // 数组长度    
        byte flags; // 特殊标识位
        byte[] content; // 数组内容
    }

如上面代码中的结构体SDS，redis就是用这个数据结构来存储字符串的，**细心的程序员一定发现了这个SDS数据结构还用了泛型T，为什么不直接用int呢**，这是因为当字符串比较短的时候，len 和 capacity 可以使用byte 和 short来表示，这样更加的节省内存空间，从这就可以看到redis对内存优化做到了极致。

redis的字符串有两种存储方式，在字符串特别短的时候，使用emb形式存储(embeded)，当长度超过44时，使用raw形式存储，**那问题来了，问什么要用两种形式来存储字符串呢？**

需要解释这个现象就需要先了解一下所有redis对象都有的结构头：

struct RedisObject{
        int4 type; // 4 bits
        int4 encoding; // 4 bits
        int24 lru; // 24 bits
        int32 refcount; // 4 bytes
        void *ptr; // 8 bytes, 64-bit system
    }

如上代码所示，不同对象具有不同的类型**type(4bit)**，同一个类型的type会有不用的存储形式**encoding(4bit)，**为了记录对象的LRU信息，使用了24个bit来记录LRU信息。每个对象都有一个引用计数器，当引用计数器为零时，对象被销毁，内存被回收。**ptr**是指向对象内容的指针。从上可以计算出一个RedisObject对象头需要占用内存16字节(一个字节8bit)。

然后看SDS结构体大小，在字符串较小的时候SDS对象头的大小最小是3字节，其中capacity、len、flags各占一个字节。

struct SDS{
        int8 capacity; // 1 byte
        int8 len; // 1 byte
        byte flags; // 1 byte
        byte[] content; // 内联数组，长度capacity
    }

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvZGVIYW9IYW8_size_16_color_FFFFFF_t_70 1][]

如图所示，emb 存储形式它将RedisObject 对象头和 SDS对象连续存储在一起，也就是使用malloc方法一个分配来存储。而raw 却不同，RedisObject 和 SDS分开存储，在内存中并不连续，需要两次malloc方法分配内存。

而内存分配器malloc 内存分配的单位都是2的次方，为了能容纳一个完整的emb 对象，至少要分配32 字节的空间，如果字符串稍微长一点就需要64 字节的空间。 如果总体超出了64字节，redis就会认为它是一个大字符串，就不再使用emb形式存储，改为raw形式存储，因为继续使用emb形式，会分配128字节空间，而大字符串不一定占用这么大空间，会浪费空间。

同时内存分配器分配64空间时，字符串长度最多达到44，因为SDS中的字符串是以 \\0 结束的占用一个字节。所以留给content来存储字符串的大小就是 64-19-1 = 44.

# 三、扩容策略 #

字符串在长度小于1M之前，采用加倍策略扩容，保留100%冗余空间。

当长度超过1M之后，为了避免加倍后空余空间过大而浪费空间，每次最多分配1M冗余空间。

[20200104215921714.png]: https://img-blog.csdnimg.cn/20200104215921714.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvZGVIYW9IYW8_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200105142548247.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvZGVIYW9IYW8=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvZGVIYW9IYW8_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2020010515161853.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NvZGVIYW9IYW8=,size_16,color_FFFFFF,t_70