【daisy-framework】缓存中间件

╰+哭是因爲堅強的太久メ 2023-07-23 12:59 40阅读 0赞

# 前言 #

Github：[https://github.com/yihonglei/daisy-framework][https_github.com_yihonglei_daisy-framework]（daisy-springboot-framework）

# 一 在项目中缓存如何使用的，为什么要使用缓存，可能会出现哪些不良问题？ #

## 1、在项目中如何使用缓存？ ##

实际使用根据自己项目情况，比如常见的缓存配置数据，首页数据，排行榜数据等等。

## 2、为什么要使用缓存？ ##

为什么要用缓存，用哪种缓存中间件，这个应该也是我们在使用前要思考的，而不是追风。

使用缓存一般解决两个问题，高性能和高并发。

**高性能**

比如 app 某个页面的数据不怎么变，但是闲着无事老是有人刷页面玩，每次都查库可能要 500 ms，用户刷两回就放弃了，

实在是太慢了。这个时候，可以根据业务情况，这些数据加到缓存，2ms 就查询出来，性能提高了 250 倍。

**高并发**

MySQL 关系型数据库单机 QPS 到 2000 就很难承受，系统在赶上高峰期的时候，如果瞬间过来一万流量，哪你的数据库可能就

各种超时，各种连接获取失败，因为连接被占满了，可能导致系统崩溃。对于这些流量，可以先放到缓存，从缓存逐步处理，

缓存是走内存的，内存天然就支撑高并发。也可以使用 MQ 做流量削峰处理。

## 3、缓存存在哪些不良问题？ ##

**缓存与数据库不一致问题：**

用缓存一般都会出现数据不一致问题，如何处理？

1）采用延时双删策略。先删除缓存，在写数据库，休眠 N 毫秒之后，再次删除缓存。

2）异步更新缓存（基于 binlog 同步机制）。canal 模拟 MySQL 从库协议，监听 binlog 的写操作，

发送 MQ，消费 MQ 异步更新缓存。

无论使用上面拿两种方式，都应该根据自己业务缓存特性加上对应的缓存过期时间，即时出现意外，

也只是短期的缓存与数据库不一致，缓存过期后会重新从数据库加载数据，达到最终一致性。

**缓存雪崩，缓存穿透，缓存击穿问题：**

**缓存雪崩**，比如 A 系统高峰期的时候 QPS 达到 5000，如果缓存挂掉了，所有请求访问都打到了 MySQL，

MySQL 扛不住就挂掉了。如果用的 Redis，有以下预防方案：

事前：保证 redis 的高可用，主从+哨兵，redis cluster，避免全盘崩溃。

事中：本地 ehcache 缓存 + hystrix(sentinel) 限流&降级，避免 MySQL 被打死。

事后：redis 持久化，一旦重启，自动从磁盘上加载数据，快速恢复缓存数据。

**缓存穿透**，如果被黑客攻击，大量请求调用系统，都是缓存没有的 key，请求都会打到数据库，

可以在没有从数据库查到的情况下，给 key 设置一个默认值以及适当的超时时间，避免用同样的 key 一直访问，

一直访问数据库，这样做只是增加了攻击的难度，还需要对 key 结合业务做一些正确性校验，比如 key 是用户 id 自增整数，

查询前如果 id 是负数或者非数字等则降级返回，不实际处理请求。

**缓存击穿**，缓存击穿一般是系统存放了一个非常热点的数据，集中高并发对 key 进行访问，一单 key 过期了，

大量的请求击穿了缓存，涌向了数据库，就向屏幕被人打了一枪，戳了个洞。一般预防方案需要根据业务情况而定：

1）如果数据几乎不变动，可以设置为永久数据；

2）如果数据变动不是很频繁，比如用 Redis 做分布式锁，拿不到锁的等着，拿到的执行，完事后释放锁，让其他线程获取锁；

3）如果变动比较频繁，以适当的定时任务或定时脚本刷新缓存，避免过期后缓存击穿情况；

# 二 Redis 数据类型和使用场景？ #

Redis 采用 key-value 键值对方式进行存储。

## 1、String ##

String 可以是字符串、整数或浮点数。

## 2、Hash ##

Redis 的 Hash（散列）是一个可以存储多个键值对之间的映射。与 String 类型一样，

散列存储的值既可以是字符串又可以是数字值，并且用户也可以对散列的数字值进行

自增或自减操作。Hash 最适合做的就是存储对象，占用更少的内存空间，并且更方便

整个对象的存取。

## 3、set（无序集合） ##

Set 是 String 类型的无序集合。set 是通过 hash table 实现的。

## 4、sorted set（有序集合） ##

sorted set 是 set 的一个升级版本，主要是在 set 的基础上增加了顺序属性。

## 5、List ##

List 是一个链表结构，主要功能有 push，pop 等，push，pop可以操作链表，

可以在链表的头部，尾部添加删除元素，可以实现 list 作为栈或队列的操作。

# 三 Redis 有哪些持久化方式？ #

缓存数据都是存在内存中，如果没有持久化，服务重启或挂掉，数据将丢失。

**rdb：**rdb 是 redis 内存数据的一个二进制快照文件，定期备份数据到 dump.rdb 文件，可以设置频率。

这种方式的优点就是通过一个线程定期刷数据，保证 redis 的高性能，重启恢复也比较快，缺点就是如果设置 5s 备份一次，

如果还没到下一个 5s Redis 崩盘了，还没备份的这几秒数据将会丢失。

**aof：**aof 是一种通过备份 Redis 写操作命令实现的备份，优点就是数据一般不会丢，缺点就是重启恢复太慢了，

备份文件的所有写命令。

Redis 4.X 混合持久化：rdb 和 aof 各有千秋，混合持久化是备份数据将两种结合在一起，旧数据以二进制存储，

最新数据以写命令存储，这样在恢复的时候 dump 恢复很快，只需要执行少量的写命令即可，恢复快而几乎不丢数据。

# 四 redis 和 memcached 有什么区别？ #

说实话，memcached 业务里面现在很少有人用，但是问缓存的问题，又喜欢问下区别，主要是看你用缓存之前有没有去调研过

相关的缓存中间件，而不是盲目的使用某个缓存中间件，memchached 现在用来存图片，音频等，它在大数据处理上性能会比

Redis 好些。

## 1、数据结构对比 ##

Redis 支持丰富的数据结构，String、Hash（散列）、set（无序集合）、sorted set（有序集合）、List（列表）。

memcached 只能支持类似 String 结构，就是一个简单 key-value。

## 2、集群模式对比 ##

Redis 在3.X之前只有哨兵模式(Sentinel)，哨兵模式性能太低，之后出现集群模式（cluster)，性能很高，

每个集群拥有不同的槽，按键值散列到不同 redis 服务进行处理，横向扩展十分方便，高可用也有保证。

Memcached 依赖客户端集中进行分片，没有集群模式，只能做主从高可用。

## 3、性能对比 ##

Redis 只能使用单核，memcached 可以使用多核，Redis 处理小数据性能比 Memcached 更高，但是处理存储的数据比较大，

性能比不上 memcached。

# 五 redis 的线程模型是什么？ #

Redis 是单线程模型的，因为内部的文件事件处理器是单线程的。单线程如何保证性能？

主要采用的是 IO 多路复用机制同时监听多个 socket，将请求事件压入到内存队列中，再由事件分派器根据

Socket 上的事件类型选择对应的处理器进行处理。如果了解过 NIO，很容易理解这段话的意思。

多个 socket 可能会并发产生不同的操作，每个操作对应不同的文件事件，但是 IO 多路复用程序会监听多个 socket，

会将产生事件的 socket 放入队列中排队，事件分派器每次从队列中取出一个 socket，根据 socket 的事件类型交给对应的

事件处理器进行处理。

# 六 为什么 redis 单线程却能支撑高并发？ #

1、纯内存操作；

2、核心基于非阻塞的 IO 多路复用机制；

3、底层是用 C 语言写的，更接近与操作系统打交道的语言；

4、单线程能避免多线程存在的上下文切换，以及锁竞争等影响性能的问题；

# 七 Redis 的过期策略、Redis 缓存淘汰机制、LRU 简易代码？ #

## 1、Redis 的过期策略？ ##

Redis 为什么要有过期策略，主要是因为 Redis 数据都存在内存里面，而内存空间是有限的，放满了岂不是用不了，

得根据一定的策略腾出空间来使用。

定期删除+惰性删除。

**定期删除**

Redis 每隔 100ms，随机抽取 key，判断是否过期，过期后自动删除，但是这么做如果有些 key 一直没有随机到，

哪就一直清除不调，通过惰性删除来处理随机不到的过期 key。

**惰性删除**

惰性就是在根据这个 key 操作的时候，再判断是否过期，过期了删除，但是即便这样做了，还是有问题，

如果一个 key 过期了，没有被随机到，也没有操作到，哪也会一直存在内存里面，占用空间。

所以 Redis 采取了下一个方案，缓存淘汰机制。

## 2、Redis 内存淘汰机制？ ##

noeviction: 当内存不足以容纳新写入数据时，返回错误，一般不用，不能让新的数据写不进来。

allkeys-lru：当内存不足以容纳新写入数据时，在键空间中，移除最近最少使用的key，一般用这个，

因为很久以前的 key 还用，业务设计得可能就有问题。

allkeys-random：当内存不足以容纳新写入数据时，在键空间中，随机移除某个 key，这个太狠了，一般不用，业务就乱套了。

volatile-lru：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，移除最近最少使用的 key，一般不用这个，

这个只限于过期的键值，不能有漏网之鱼。

volatile-random：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，随机移除某个 key，内存淘汰不全。

volatile-ttl：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，有更早过期时间的 key 优先移除，内存淘汰不全。

**根据 key 的维度不同，分为三类：**

noeviction 直接报错；

allkeys-XX 所有键空间找最近最少使用或随机方式清除 key；

volatile-XX 过期时间键空间找最近最少使用或随机方式或过期时间最早清除 key；

持续更新完善中......

[https_github.com_yihonglei_daisy-framework]: https://github.com/yihonglei/daisy-framework

【daisy-framework】缓存中间件

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关缓存中间件Redis

相关中间件 (一) --------- 缓存

相关分布式数据缓存中间件TongRDS

相关缓存中间件Redis Cluster集群模式

相关 Spring Cache 实战：兼容所有缓存中间件！

相关【daisy-framework】缓存中间件

相关 ELK通过中间件缓存日志

相关中间件-消息中间件

相关【缓存】-缓存中间件

相关 ASP.NET Core 中的响应缓存中间件