详解Redis瘦身指南


Posted in Redis onMay 26, 2021

Redis内存回收

Redis 服务器的最大占用内存量由配置项 maxmemory 决定,我们可以通过 config set maxmemory 2GB 的格式来配置。一旦 Redis 内存满,所有引起内存增加的操作都会被返回 error。作为专业 Redis 服务器我们通常将此项设置为0,以服务器系统内存来作为限制;

那么 Redis 使用内存达到了上限怎么办?Redis 为我们提供了几种选项以自动回收内存,可以通过配置项 maxmemory-policy 来配置;

  • noeviction 不回收;
  • allkeys-lru 从所有键中删除最近最少使用的键;
  • volatile-lru 从设置了过期时间的键中删除最近最少使用的键;
  • allkeys-random 从所有键中随机删除;
  • volatile-random 从设置了过期时间的键中随机删除;
  • volatile-ttl 从设置了过期时间的键中选择存活时间最短的键删除;

最大内存回收策略需要根据业务来配置,如果纯粹做缓存,allkeys-lru无疑是最合适的。如果存储了稍微重要的数据,为了防止 Redis 误删一些重要键,则需要选用 noeviction;

allkeys-lru、allkeys-random 在内存满时都有键可删,可以腾出内存,但如果配置了其他的策略,数据库用久了(根据业务量),随着业务发展和数据积累,通常会累积到到服务器内存占用率高,利用率低的情况,则可能会遇到内存占用满的问题。

问题原由

产生问题的原因有:

持久键废弃

这是导致此问题的最常见情况。

有时候是开发人员的锅,开发不规范,未给有时效性的键设置过期时间,后续又不进行手动删除,键就成为无人管的孤儿键了。

还可能是整个业务慢慢被废弃,不知道哪一天起,业务整体已不再维护了,一批键自然也就没用了。比这更严重的是,如果使用 List 传递数据,消费进程已被停止,但生产进程未同步停止,还在往 Redis 里写数据。

过期键未回收

这个原因首先要谈到 Redis 的两种过期键删除策略:

  • 惰性删除:在读取键时发现键已过期,则将其删除。
  • 定期删除:Redis 会从所有设置了过期时间的键中选取 100 个,删除已过期的键,如果已过期的键超过 25 个,则再次进行此操作。 此删除操作由配置项 hz 决定,Redis 默认每秒进行 10 次;

如果我们产生过期键的速度很快,最多可导致 Redis 25% 的过期键没有被及时删除。

遍历清除垃圾键

由上,明白了问题产生的原因,解决 Redis 内存满的方法就明确了:清除这些垃圾键。 于是就面临着两个问题:

如何遍历键

对于查找键,我们首先想到的是 KEYS,但 KEYS 的时间复杂度是O(n),n 是 Redis 内键的总数,如果 Redis 内键很多还是会有性能问题,导致其他命令被阻塞的。

这里介绍一个键遍历命令: SCAN。

SCAN cursor:

0 => cursor, // cursor = 0 遍历结束
1 => array(key1, key2...)

需要注意的是 SCAN 命令是在版本2.8.0 加入的,如果是之前的版本,可以考虑解析 Redis 的 RDB 文件来获取所有的键。

如何判断键是否垃圾

我们有三种异常键需要处理:

  • 过期键:这些键会在被 SCAN 到时被自动删除,不再考虑。如果是解析 RDB 文件获取到的键,在查询时也会被自动删除;
  • 长时间未读写的键,很可能是业务不再需要的键;
  • 占用大量内存的键,有可能是在不停地写,但未消费。

这里介绍 Redis 的另一个命令 OBJECT,使用它可以从内部查看 key 对象的状态。使用 OBJECT IDLETIME key 来获取 key 的闲置时间,我们可以判断 key 闲置时间大于一个时间段(根据业务自定)的为已废弃。

此外还能使用 OBJECT REFCOUNT key获取 key 引用所储存的值的次数,OBJECT ENCODING key 获取 key 储存的值所使用的内部表示。

获取键大小

而获取 Redis 某键占用内存大小,则通过另一个命令 DEBUG OBJECT 来获取,此命令会返回比OBJECT命令更详细的内部数据。

DEBUG OBJECT test
Value at:0x7fb0ee16ebd0 refcount:1 encoding:embstr serializedlength:6 lru:12362780 lru_seconds_idle:4

结果包括内存地址、引用数、内部编码表示、序列化后的长度、最近最少使用标识值,闲置时间,我们可以解析此结果串来获取对应的数据。

需要注意,key 作为复合键拥有大量字段时使用 DEBUG 命令计算内存会使 Redis 阻塞较长时间,且 Redis 官方并不建议在客户端使用此命令。

我们也可以先使用 TYPE key 获取键的类型,再根据类型获取其键的大小,如对字符串使用LEN,对 哈希表使用HLEN。

要注意在删除特别大的复合键时,建议先逐步清空键内的字段,防止因字段过多,Redis 阻塞较长时间。

管道加速

Redis 支持 pipeline 管道技术,一次 请求/响应 服务器能实现处理并响应多个请求。这样就可以将多个命令同时发送到服务器,不等待回复,直接在最后获取多个结果。

PHP 中使用 MULTI(Redis::PIPELINE) 和 EXEC() 命令来实现管道;

脚本实现

下面是个简单的脚本:

$redis = new Redis();
$redis->connect('127.0.0.1');
do {
    $keys = $redis->scan($cursor);

    $pipeline = $redis->multi(Redis::PIPELINE);
    foreach ($keys as $key) {
        $idle_time = $redis->object('idletime', $key);
        if ($idle_time > 180 * 24 * 3600) {
            $pipeline->del($key);
        }
        // todo 判断类型进而判断占用内存大小,再删除
    }
    $pipeline->exec();
} while ($cursor != 0);

从根源避免问题

以上的脚本肯定也会在删除键时影响 Redis 的效率,最好的情况还是从根源就避免此类情况,以下是一些建议:

  • 规范化开发;
  • 首先是键命名要规范,让人见名知义,这样在人工排错或删除时也有判断依据,然后最好有完善的 Redis 键文档,以保证业务在很长时间,经手多人后也能资料可查。
  • 使用 HashSet 替代 Key-Value;
  • 将业务中某一族的键以 HashSet 的方式存储,以替代普通的 key-value 类型。不仅可以省去为每个键设置前缀以节约内存,也便于统一管理。
  • 有时效性的键注意设置过期时间;
  • 合理设置定时清除过期键频率 hz,在 Redis 不做多余操作的情况下,使过期键尽量能被删除;
  • 做好 Redis 内存的监控,在达到某个阈值时查找问题并解决。

小结

Redis假死

我在使用守护进程时 Redis 有假死情况,PHP 和 Redis 都不报错,但命令都返回 false,这种情况可以使用 Redis 的 ping() 命令,来探测 Redis 连接是否还在,如果不在则再建立新的连接。此问题很可能是由服务器配置引起的,如果您有知道此问题的原由或有好的解决办法,烦请指点一二。

危险命令

不要在没看文档的情况下在线上使用 Redis 命令,例如 debug segfault,别问我怎么知道的。

以上就是详解Redis瘦身指南的详细内容,更多关于Redis瘦身指南的资料请关注三水点靠木其它相关文章!

Redis 相关文章推荐
解决redis sentinel 频繁主备切换的问题
Apr 12 Redis
Redis如何一键部署脚本
Apr 12 Redis
了解Redis常见应用场景
Jun 23 Redis
浅析Redis Sentinel 与 Redis Cluster
Jun 24 Redis
springboot使用Redis作缓存使用入门教程
Jul 25 Redis
解析redis hash应用场景和常用命令
Aug 04 Redis
使用redis实现延迟通知功能(Redis过期键通知)
Sep 04 Redis
Redis之RedisTemplate配置方式(序列和反序列化)
Mar 13 Redis
Redis安装使用RedisJSON模块的方法
Mar 23 Redis
Redis全局ID生成器的实现
Jun 05 Redis
浅谈Redis缓冲区机制
Jun 05 Redis
Redis实现主从复制方式(Master&Slave)
Jun 21 Redis
Redis高级数据类型Hyperloglog、Bitmap的使用
May 24 #Redis
redis实现排行榜功能
May 24 #Redis
分布式锁为什么要选择Zookeeper而不是Redis?看完这篇你就明白了
May 21 #Redis
Redis 配置文件重要属性的具体使用
May 20 #Redis
浅谈redis缓存在项目中的使用
May 20 #Redis
详解Redis主从复制实践
详解redis分布式锁的这些坑
You might like
PHP文件读写操作之文件写入代码
2011/01/13 PHP
phpMyAdmin出现无法载入 mcrypt 扩展,请检查PHP配置的解决方法
2012/03/26 PHP
php在文件指定行中写入代码的方法
2012/05/23 PHP
兼容各大浏览器带关闭按钮的漂浮多组图片广告代码
2014/06/05 PHP
如何让thinkphp在模型中自动完成session赋值小教程
2014/09/05 PHP
Laravel 4 初级教程之视图、命名空间、路由
2014/10/30 PHP
使用xampp搭建运行php虚拟主机的详细步骤
2015/10/21 PHP
通过chrome浏览器控制台(Console)进行PHP Debug的方法
2016/10/19 PHP
js切换光标示例代码
2013/10/10 Javascript
jQuery实现仿QQ头像闪烁效果的文字闪动提示代码
2015/11/03 Javascript
Bootstrap table使用方法总结
2017/05/10 Javascript
详解ES6之async+await 同步/异步方案
2017/09/19 Javascript
Vue.js中的computed工作原理
2018/03/22 Javascript
Nodejs中怎么实现函数的串行执行
2019/03/02 NodeJs
es6数组之扩展运算符操作实例分析
2020/04/25 Javascript
vue3.0实现点击切换验证码(组件)及校验
2020/11/18 Vue.js
按日期打印Python的Tornado框架中的日志的方法
2015/05/02 Python
Python中遇到的小问题及解决方法汇总
2017/01/11 Python
Django自定义manage命令实例代码
2018/02/11 Python
PyCharm代码提示忽略大小写设置方法
2018/10/28 Python
Python爬虫使用浏览器cookies:browsercookie过程解析
2019/10/22 Python
基于python实现雪花算法过程详解
2019/11/16 Python
Python利用 utf-8-sig 编码格式解决写入 csv 文件乱码问题
2020/02/21 Python
Python3批量创建Crowd用户并分配组
2020/05/20 Python
Tensorflow中k.gradients()和tf.stop_gradient()用法说明
2020/06/10 Python
HTML5中FileReader接口使用方法实例详解
2017/08/26 HTML / CSS
英国复古服装和球衣购买网站:3Retro Football
2018/07/09 全球购物
Allen Edmonds官方网站:一家美国优质男士鞋类及配饰制造商
2019/03/12 全球购物
Myprotein芬兰官网:欧洲第一运动营养品牌
2019/05/05 全球购物
2014年小学元旦活动方案
2014/02/12 职场文书
竞选班长自荐书范文
2014/03/09 职场文书
幼儿园小班评语大全
2014/04/17 职场文书
建筑工地宣传标语
2014/06/18 职场文书
预备党员考察意见范文
2015/06/01 职场文书
防溺水主题班会教案
2015/08/12 职场文书
使用Pytorch实现two-head(多输出)模型的操作
2021/05/28 Python