Redis 通讯协议和内存回收
1. RESP 协议
Redis 是一个 CS 架构的软件，通信一般分两步（不包括 pipeline 和 PubSub）：
- 客户端（client）向服务端（server）发送一条命令
- 服务端解析并执行命令，返回响应结果给客户端
因此客户端发送命令的格式、服务端响应结果的格式必须有一个规范，这个规范就是通信协议
而在 Redis 中采用的是 RESP（Redis Serialization Protocol）协议：
- Redis 1.2 版本引入了 RESP 协议
- Redis 2.0 版本中成为与 Redis 服务端通信的标准，称为 RESP2
- Redis 6.0 版本中，从 RESP2 升级到了 RESP3 协议，增加了更多数据类型并且支持 6.0 的新特性–客户端缓存
但在 Redis6.0 中， 默认使用的依然是 RESP2 协议，也是我们要学习的协议版本（以下简称 RESP）
1.1 五种数据类型
在 RESP 中，通过首字节的字符来区分不同数据类型，常用的数据类型包括 5 种：
-
单行字符串：首字节是 ‘+’ ，后面跟上单行字符串，以 CRLF（ “\r\n“）结尾。例如返回“OK”： “+OK\r\n”
-
错误（Errors）：首字节是 ‘-’ ，与单行字符串格式一样，只是字符串是异常信息，例如：“-Error message\r\n”
-
数值：首字节是 ‘:’ ，后面跟上数字格式的字符串，以 CRLF 结尾。例如：“:10\r\n”
-
多行字符串：首字节是 ‘$’ ，表示二进制安全的字符串，最大支持 512MB：
-
如果大小为 0，则代表空字符串："$0\r\n\r\n"
-
如果大小为 -1，则代表不存在：”$-1\r\n”
-
-
数组：首字节是 ‘***’，后面跟上数组元素个数，再跟上元素，元素数据类型不限
在 Redis 中，发请求使用的一般是数组，而响应五种都有可能
2. 内存回收
Redis 之所以性能强，最主要的原因就是基于内存存储。然而单节点的 Redis 其内存大小不宜过大，会影响持久化或主从同步性能。我们可以通过修改配置文件来设置 Redis 的最大内存：
当内存使用达到上限时，就无法存储更多数据了。为了解决这个问题，Redis 提供了一些策略实现内存回收：
- 内存过期策略
- 内存淘汰策略
2.1 过期策略
在学习 Redis 缓存的时候我们说过，可以通过 expire 命令给 Redis 的 key 设置 TTL（存活时间）：
可以发现，当 key 的 TTL 到期以后，再次访问 name 返回的是 nil，说明这个 key 已经不存在了，对应的内存也得到释放。从而起到内存回收的目的
这里有两个问题需要我们思考：
- Redis 是如何知道一个 key 是否过期呢？
- 利用两个 Dict 分别记录 key-value 键值对及 key-ttl 键值对
- 是不是 TTL 到期就立即删除了呢？
- 惰性删除
- 周期删除
RedisDB 的数据结构：
Redis 本身是一个典型的 key-value 内存存储数据库，因此所有的 key、value 都保存在之前学习过的 Dict 结构中。不过在其 database 结构体中，有两个 Dict：一个用来记录 key-value；另一个用来记录 key-TTL
2.1.1 惰性删除
惰性删除：顾明思议并不是在 TTL 到期后就立刻删除，而是在访问一个 key 的时候，检查该 key 的存活时间，如果已经过期才执行删除。(增删改查时发现过期才删除)
2.1.2 周期删除
周期删除：顾明思议是通过一个定时任务，周期性的抽样部分过期的 key，然后执行删除。执行周期有两种：
- Redis 会设定一个定时任务 serverCron()，按照 server.hz 的频率来执行过期 key 清理，模式为 SLOW(默认)
- Redis 的每个事件循环前会调用 beforeSleep()函数，执行过期 key 清理，模式为 FAST
在前面讲到的 Redis 单线程模型中，在 init 时会关联 SLOW 模式回调函数 serverCron
根据你设定的周期删除的策略：
- 如果是 FAST，那么在 aeMain 方法调用 aeApiPoll (类似 epoll_wait) 前会调用 beforeSleep 进行 Fast 清理
- 如果是 SLOW，那么在 aeApiPoll 后会调用 serverCron 进行 SLOW 清理
SLOW 模式规则：
- 执行频率受 server.hz 影响，默认为 10，即每秒执行 10 次，每个执行周期 100ms
- 执行清理耗时不超过一次执行周期的 25%，默认 slow 模式耗时不超过 25ms
- 逐个遍历 db，逐个遍历 db 中的 bucket，抽取 20 个 key 判断是否过期
- 如果没达到时间上限（25ms）并且过期 key 比例大于 10%，再进行一次抽样，否则结束
FAST 模式规则（过期 key 比例小于 10% 不执行 ）：
- 执行频率受 beforeSleep () 调用频率影响，但两次 FAST 模式间隔不低于 2ms
- 执行清理耗时不超过 1ms
- 逐个遍历 db，逐个遍历 db 中的 bucket，抽取 20 个 key 判断是否过期
- 如果没达到时间上限（1ms）并且过期 key 比例大于 10%，再进行一次抽样，否则结束
小总结：
RedisKey 的 TTL 记录方式：
- 在 RedisDB 中通过一个 Dict 记录每个 Key 的 TTL 时间
过期 key 的删除策略：
- 惰性清理：每次查找 key 时判断是否过期，如果过期则删除
- 定期清理：定期抽样部分 key，判断是否过期，如果过期则删除
定期清理的两种模式：- SLOW 模式执行频率默认为 10，每次不超过 25ms
- FAST 模式执行频率不固定，但两次间隔不低于 2ms，每次耗时不超过 1ms
2.2 淘汰策略
内存淘汰：就是当 Redis 内存使用达到设置的上限时，主动挑选部分 key 删除以释放更多内存的流程。Redis 会在处理客户端命令的方法 processCommand () 中尝试做内存淘汰：
内存淘汰的前提条件：
- 设置了 server.maxmemory 属性
- 没有执行的 lua 脚本
淘汰策略：
Redis 支持 8 种不同策略来选择要删除的 key：
- noeviction： 不淘汰任何 key，但是内存满时不允许写入新数据，默认就是这种策略
- volatile-ttl： 对设置了 TTL 的 key，比较 key 的剩余 TTL 值，TTL 越小越先被淘汰
- allkeys-random：对全体 key ，随机进行淘汰。也就是直接从 db->dict 中随机挑选
- volatile-random：对设置了 TTL 的 key ，随机进行淘汰。也就是从 db->expires 中随机挑选
- allkeys-lru： 对全体 key，基于 LRU 算法进行淘汰
- volatile-lru： 对设置了 TTL 的 key，基于 LRU 算法进行淘汰
- allkeys-lfu： 对全体 key，基于 LFU 算法进行淘汰
- volatile-lfu： 对设置了 TTL 的 key，基于 LFI 算法进行淘汰
比较容易混淆的有两个：
- LRU（Least Recently Used），最少最近使用。记录的是最后一次访问时间戳，用当前时间减去最后一次访问时间，这个值越大则淘汰优先级越高
- LFU（Least Frequently Used）， 最少频率使用。会统计每个 key 的访问频率，值越小淘汰优先级越高
Redis 的数据都会被封装为 RedisObject 结构：
RedisObject 中的 LRU_BITS 属性：
- 当采用的是 LRU 算法时：24 位都用来记录以秒为单位的最后一次访问时间
- 当采用的是 LFU 算法时：高 16 位以分钟为单位记录最近一次访问时间 (Ldt)，低 8 位 记录逻辑访问次数（ LOG_C 最大 255）
LFU 的访问次数之所以叫做 逻辑访问次数 (LOG_C)，是因为并不是每次 key 被访问都计数，而是通过运算：
新对象 的 LOG_C 值 为 LFU_INIT_VAL = 5，避免刚被创建即被淘汰
- 生成 0~1 之间的随机数 R
- 计算 (旧次数 * lfu_log_factor + 1)，记录为 P，lfu_log_factor 默认为 10
- 如果 R < P ，则计数器 + 1，且最大不超过 255
- 访问次数会随时间衰减，距离上一次访问时间每隔 lfu_decay_time（默认值为 1） 分钟，计数器 -1
最后用一副图来描述当前的这个流程吧
随机挑选 maxmemory_samples 数量的 key 通过不同的内存策略升序存入 eviction_pool，淘汰值最大的 key
- TTL：maxTTl - TTL
- LRU：now - LRU
- LFU：255 - LOG_C
