redis 限制内存使用大小的实现


Posted in Redis onMay 08, 2021

记录一次生产环境问题排查过程:

生产环境部署方式:nginx + uwsgi + flask

问题描述:

发现生产环境中之前正常运行的服务突然不可用了,查看程序日志发现部分接口访问时报I/O写错误,nginx acess.log显示504,error.log显示 upstream time out.
同时 netstat -apn | grep 6379 | wc -l 检查发现redis存在大量连接,进一步检查发现其中大多为 SYN_SENT 包,连接大多归属于uwsgi 进程。

  因为程序中有很多接口被调用是会访问redis, 以为是redis连接池导致,对程序中的redis连接池进行优化后重启服务,刚启动时一切正常,http 200, 但几分钟后服务再次挂掉,http 504.

检查系统资源使用情况,发现 kswapd0 进程CPU占用很高,这个进程是当物理内存不足时,会将一部分硬盘当做虚拟内存来使用, 使用swap分区与内存换页操作交换数据,导致CPU占用过高, 再细看发现redis-server内存占用已超过100%:

redis 限制内存使用大小的实现

进入redis中查看info memory和各存储数据的key下数据量,果然存在大量未处理完毕的数据。

到此问题终于是找到了。

设置redis最大占用内存

# 编辑redis配置文件,加入最大内存使用限制,我根据服务器的情况设置为3G
maxmemory 3221225472

设置redis数据过期策略:

redis中有6种过期策略:

# 根据LRU算法生成的过期时间来删除
# volatile-lru -> remove the key with an expire set using an LRU algorithm
# 根据LRU算法删除任何key。
# allkeys-lru -> remove any key accordingly to the LRU algorithm
# 根据过期设置来随机删除key。
# volatile-random -> remove a random key with an expire set
# 无差别随机删。
# allkeys-random -> remove a random key, any key
# 根据最近过期时间来删除(辅以TTL)
# volatile-ttl -> remove the key with the nearest expire time (minor TTL)
# 谁也不删,直接在写操作时返回错误。
# noeviction -> don't expire at all, just return an error on write operations

在redis配置文件中设置过期策略为:maxmemory-policy allkeys-lru

  一开始是设置为volatile-lru的,但是该策略只是清除设置过期时间的key值,因为很多key并没有设置过期时间。因此修改为maxmemory-policy allkeys-lru,指明非活跃近期很少用的key值清除.

  在使用maxmemory-policy allkeys-lru策略时,内存超限后将不再存储数据,但数据的读取删除操作不会受影响,超限时显示错误

OOM command not allowed when used memory > 'maxmemory'

redis 限制内存使用大小的实现

重启程序,至此服务终于正常运行。

总结:本次的问题归根结底是redis中存储入了大量脏数据,但数据处理并没有及时的清理掉这部分数据,最终导致服务停滞,allkeys-lru策略有可能会将长期未用但实际有用的数据清理掉,所以还是应优化数据处理为主。

到此这篇关于redis 限制内存使用大小的实现的文章就介绍到这了,更多相关redis 限制内存内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Redis 相关文章推荐
Redis遍历所有key的两个命令(KEYS 和 SCAN)
Apr 12 Redis
redis配置文件中常用配置详解
Apr 14 Redis
Redis数据结构之链表与字典的使用
May 11 Redis
SpringBoot 集成Redis 过程
Jun 02 Redis
springboot使用Redis作缓存使用入门教程
Jul 25 Redis
基于Redis结合SpringBoot的秒杀案例详解
Oct 05 Redis
Redis三种集群模式详解
Oct 05 Redis
SpringBoot整合Redis入门之缓存数据的方法
Nov 17 Redis
聊聊redis-dump工具安装问题
Jan 18 Redis
muduo TcpServer模块源码分析
Apr 26 Redis
Redis 异步机制
May 15 Redis
Redis主从复制操作和配置详情
Sep 23 Redis
使用Redis实现秒杀功能的简单方法
Redis6.0搭建集群Redis-cluster的方法
May 08 #Redis
浅谈Redis存储数据类型及存取值方法
Redis IP地址的绑定的实现
May 08 #Redis
redis通过6379端口无法连接服务器(redis-server.exe闪退)
redis 查看所有的key方式
Redis5之后版本的高可用集群搭建的实现
You might like
用Simple Excel导出xls实现方法
2012/12/06 PHP
析构函数与php的垃圾回收机制详解
2013/10/28 PHP
CodeIgniter错误mysql_connect(): No such file or directory解决方法
2014/09/06 PHP
ThinkPHP5框架实现简单的批量查询功能示例
2018/06/07 PHP
Prototype1.6 JS 官方下载地址
2007/11/30 Javascript
JavaScript获取onclick、onchange等事件值的代码
2013/07/22 Javascript
Yii2使用Bootbox插件实现自定义弹窗
2015/04/02 Javascript
谈谈JavaScript异步函数发展历程
2015/09/29 Javascript
JS实现alert中显示换行的方法
2015/12/17 Javascript
浅谈javascript中new操作符的原理
2016/06/07 Javascript
AngularJS使用ng-options指令实现下拉框
2016/08/23 Javascript
bootstrap timepicker在angular中取值并转化为时间戳
2017/06/13 Javascript
jQuery Autocomplete简介_动力节点Java学院整理
2017/07/17 jQuery
jQuery滑动效果实现方法分析
2018/09/05 jQuery
ng-repeat指令在迭代对象时的去重方法
2018/10/02 Javascript
什么时候不能在 Node.js 中使用 Lock Files
2019/06/24 Javascript
[01:23:35]Ti4主赛事胜者组 DK vs EG 1
2014/07/19 DOTA
[06:35]2014DOTA2国际邀请赛 老男孩梦圆西雅图中国军团世界最强
2014/07/22 DOTA
python自动裁剪图像代码分享
2017/11/25 Python
Python使用Matplotlib实现Logos设计代码
2017/12/25 Python
Python编程中flask的简介与简单使用
2018/12/28 Python
浅谈django url请求与数据库连接池的共享问题
2019/08/29 Python
解决Django部署设置Debug=False时xadmin后台管理系统样式丢失
2020/04/07 Python
解决Keras TensorFlow 混编中 trainable=False设置无效问题
2020/06/28 Python
英国最大的电子零件及配件零售商:Partmaster
2017/04/24 全球购物
选购世界上最好的美妆品:Cult Beauty
2017/11/03 全球购物
来自世界各地的优质葡萄酒:VineShop24
2018/07/09 全球购物
美国最大的购物网站:Amazon.com(亚马逊美国)
2020/05/23 全球购物
学前教育教师求职自荐信
2013/09/22 职场文书
秋季开学典礼主持词
2014/03/19 职场文书
竞选劳动委员演讲稿
2014/04/28 职场文书
完整版商业计划书
2014/09/15 职场文书
2014年德育工作总结
2014/11/20 职场文书
电影复兴之路观后感
2015/06/02 职场文书
CSS3点击按钮圆形进度打钩效果的实现代码
2021/03/30 HTML / CSS
vue使用element-ui按需引入
2022/05/20 Vue.js