Linux中使用reids（六）雪崩、穿透、击穿解决方案

红太狼 2024-03-22 09:59 89阅读 0赞

## 雪崩、穿透、击穿解决方案 ##

### 1、缓存穿透 ###

**缓存穿透前提是：Redis和MySQL中都没有，然后不停的直接请求MySQL，会压垮数据库**

![ebf3170ef408467e9e9594e65cf75a9a.png][]

**1.1、问题描述**

> key对应的数据在数据库MySQL中并不存在，每次针对此key的请求从redis缓存获取不到也不存在，请求都会压到数据库MySQL，从而可能压垮数据库。比如用一个不存在的用户id获取用户信息，不论缓存还是数据库都没有，若黑客利用此漏洞进行攻击就会直接请求MySQL可能压垮数据库。
> 
> 用户需要查询一个数据，但是redis中没有（比如说mysql中id=-1的数），直接去请求MySQL，当很多用户同时请求并且都么有命中！于是都去请求了持久层的数据库，那么这样会给持久层数据库带来非常大的压力。一般出现这样的情况都不是正常用户，基本上都是恶意用户！

**1.2、解决方案**

> （1） 对空值缓存：如果一个查询返回的数据为空（不管是数据是否不存在），我们仍然把这个空结果（null）进行缓存，设置空结果的过期时间会很短，最长不超过五分钟
> 
> 当存储层查不到，即使是空值，我们也将其存储起来并且在Redis中设置一个过期时间，之后再访问这个数据将会从Redis中访问，保护了持久层的数据库！
> 
> **存在的问题：**
> 
> 1）如果空值能够被缓存起来，这就意味着缓存需要更多的空间存储更多的键，因为这当中可能会有很多 的空值的键；
> 
> 2）即使对空值设置了过期时间，还是会存在缓存层和存储层的数据会有一段时间窗口的不一致，这对于 需要保持一致性的业务会有影响。
> 
> **注意：缓存穿透前提是：Redis和MySQL中都没有，然后不停的直接请求MySQL。**

> （2） 设置可访问的名单（白名单）： 使用bitmaps类型定义一个可以访问的名单，名单id作为bitmaps的偏移量，每次访问和bitmap里面的id进行比较，如果访问id不在bitmaps里面，进行拦截，不允许访问。

> （3） 采用布隆过滤器：(布隆过滤器（BloomFilter）是1970年由布隆提出的。它实际上是一个很长的二进制向量(位图)和一系列随机映射函数（哈希函数）。 布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。) 将所有可能存在的数据哈希到一个足够大的bitmaps中，一个一定不存在的数据会被 这个bitmaps拦截掉，从而避免了对底层存储系统的查询压力。

> （4） 进行实时监控：当发现Redis的命中率开始急速降低，需要排查访问对象和访问的数据，和运维人员配合，可以设置黑名单限制服务

布隆过滤器 ![在这里插入图片描述][877c298d7fcc4db7999f63dc21d55b74.png]

### 2、缓存击穿 ###

**缓存击穿前提是：一开始要查询的某一个key在Redis和MySQL中都有，当Redis的某一个key突然过期了reids中的key就没有了，MySQL中还有，然后就会直接请求数据库还没有等到把数据返回给redis，就又来了一大批请求就会把数据集给压垮**

![f50b29fdb5e94d048df2ca681cb9e9fa.png][]

**1. 问题描述**

> key对应的数据存在，但在redis中过期，此时若有大量并发请求过来，这些请求发现缓存过期一般都会从后端DB加载数据并回设到缓存，这个时候大并发的请求可能会瞬间把后端DB压垮。
> 
> key可能会在某些时间点被超高并发地访问，是一种非常“热点”的数据。这个时候，需要考虑一个问题：缓存被“击穿”的问题。
> 
> 是指**一个**非常热点的key，在不停的扛着大并发，当这个key失效时，一瞬间大量的请求冲到持久层的数据库中，就像在一堵墙上某个点凿开了一个洞！

**2. 解决方案**

> （1）预先设置热门数据：在redis高峰访问之前，把一些热门数据提前存入到redis里面，加大这些热门数据key的时长

> （2）实时调整：现场监控哪些数据热门，实时调整key的过期时长
> 
> （3）设置热点key永不过期： 从缓存层面来看，没有设置过期时间，所以不会出现热点 key 过期后产生的问题。
> 
> ③**缺点：** 其实设置**永不过期**不合理！

> （3）使用锁：
> 
> 1.  就是在缓存失效的时候（判断拿出来的值为空），不是立即去load db。
> 2.  先使用缓存工具的某些带成功操作返回值的操作（比如Redis的SETNX）去set一个mutex key
> 3.  当操作返回成功时，再进行load db的操作，并回设缓存,最后删除mutex key；
> 4.  当操作返回失败，证明有线程在loaddb，当前线程睡眠一段时间再重试整个get缓存的方法。
> 5.  **在查询持久层数据库时，保证了只有一个线程能够进行持久层数据查询，其他的线程让它睡眠几百毫秒，等待第一个线程查询完会回写到Redis缓存当中，剩下的线程可以正常查询Redis缓存，就不存在大量请求去冲击持久层数据库了！**![f862cddca5dd49a4a566da7a8ec3c822.png][]
> 6.  
> 7.

### 3、雪崩 ###

**雪崩前提是：一开始要查询的大量的key在Redis和MySQL中都有，当Redis的key突然过期了reids中的key就没有了，MySQL中还有，然后就会直接请求数据库还没有等到把数据返回给redis，就又来了一大批请求就会把数据集给压垮**

**1. 问题描述**

> key对应的数据存在，但在redis中过期，此时若有大量并发请求过来，这些请求发现缓存过期一般都会从后端DB加载数据并回设到缓存，这个时候大并发的请求可能会瞬间把后端DB压垮。**缓存雪崩与缓存击穿的区别在于这里针对很多key缓存，缓存击穿是某一个key**
> 
> 在某一个时间段，缓存的key大量集中同时过期了，所有的请求全部冲到持久层数据库上，导致持久层数据库挂掉！ 范例：双十一零点抢购，这波商品比较集中的放在缓存，设置了失效时间为1个小时，那么到了零点，这批缓存全部失效了，而大量的请求过来时，全部冲过了缓存，冲到了持久层数据库！

**2. 解决方案**

缓存失效时的雪崩效应对底层系统的冲击非常可怕！

解决方案：

（1） 构建多级缓存架构：nginx缓存 + redis缓存 +其他缓存（ehcache等）

（2） 使用锁或队列： 用加锁或者队列的方式保证来保证不会有大量的线程对数据库一次性进行读写，从而避免失效时大量的并发请求落到底层存储系统上。不适用高并发情况

（3） 设置过期标志更新缓存： 记录缓存数据是否过期（设置提前量），如果过期会触发通知另外的线程在后台去更新实际key的缓存。

（4） 将缓存失效时间分散开： 比如我们可以在原有的失效时间基础上增加一个随机值，比如1-5分钟随机，这样每一个缓存的过期时间的重复率就会降低，就很难引发集体失效的事件。

①**Redis高可用：** 搭建Redis集群，既然redis有可能挂掉，那我多增设几台redis，这样一台挂掉之后其他的还可以继续工作，其实就是搭建的集群。（异地多活！）

②**限流降级：** 在缓存失效后，通过加锁或者队列来控制读数据库写缓存的线程数量。比如对 某个key只允许一个线程查询数据和写缓存，其他线程等待。

③**数据预热：** 数据加热的含义就是在正式部署之前，我先把可能的数据先预先访问一遍，这样部分可能大量访问的数据就会加载到缓存中。在即将发生大并发访问前手动触发加载缓存不同的key，设置不同的过期时间，**让缓存失效的时间点尽量均匀** 。

[ebf3170ef408467e9e9594e65cf75a9a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/2926085c86324e9e96fc99458f8ad880.png
[877c298d7fcc4db7999f63dc21d55b74.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/600cc0d5921c4661b9b597d5315daadd.png
[f50b29fdb5e94d048df2ca681cb9e9fa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/466d4485061a464795edb186a2f59c20.png
[f862cddca5dd49a4a566da7a8ec3c822.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/e22c42b7c7f142939a70b49c868b43ab.png