redis 限制内存使用大小的实现


Posted in Redis onMay 08, 2021

记录一次生产环境问题排查过程:

生产环境部署方式:nginx + uwsgi + flask

问题描述:

发现生产环境中之前正常运行的服务突然不可用了,查看程序日志发现部分接口访问时报I/O写错误,nginx acess.log显示504,error.log显示 upstream time out.
同时 netstat -apn | grep 6379 | wc -l 检查发现redis存在大量连接,进一步检查发现其中大多为 SYN_SENT 包,连接大多归属于uwsgi 进程。

  因为程序中有很多接口被调用是会访问redis, 以为是redis连接池导致,对程序中的redis连接池进行优化后重启服务,刚启动时一切正常,http 200, 但几分钟后服务再次挂掉,http 504.

检查系统资源使用情况,发现 kswapd0 进程CPU占用很高,这个进程是当物理内存不足时,会将一部分硬盘当做虚拟内存来使用, 使用swap分区与内存换页操作交换数据,导致CPU占用过高, 再细看发现redis-server内存占用已超过100%:

redis 限制内存使用大小的实现

进入redis中查看info memory和各存储数据的key下数据量,果然存在大量未处理完毕的数据。

到此问题终于是找到了。

设置redis最大占用内存

# 编辑redis配置文件,加入最大内存使用限制,我根据服务器的情况设置为3G
maxmemory 3221225472

设置redis数据过期策略:

redis中有6种过期策略:

# 根据LRU算法生成的过期时间来删除
# volatile-lru -> remove the key with an expire set using an LRU algorithm
# 根据LRU算法删除任何key。
# allkeys-lru -> remove any key accordingly to the LRU algorithm
# 根据过期设置来随机删除key。
# volatile-random -> remove a random key with an expire set
# 无差别随机删。
# allkeys-random -> remove a random key, any key
# 根据最近过期时间来删除(辅以TTL)
# volatile-ttl -> remove the key with the nearest expire time (minor TTL)
# 谁也不删,直接在写操作时返回错误。
# noeviction -> don't expire at all, just return an error on write operations

在redis配置文件中设置过期策略为:maxmemory-policy allkeys-lru

  一开始是设置为volatile-lru的,但是该策略只是清除设置过期时间的key值,因为很多key并没有设置过期时间。因此修改为maxmemory-policy allkeys-lru,指明非活跃近期很少用的key值清除.

  在使用maxmemory-policy allkeys-lru策略时,内存超限后将不再存储数据,但数据的读取删除操作不会受影响,超限时显示错误

OOM command not allowed when used memory > 'maxmemory'

redis 限制内存使用大小的实现

重启程序,至此服务终于正常运行。

总结:本次的问题归根结底是redis中存储入了大量脏数据,但数据处理并没有及时的清理掉这部分数据,最终导致服务停滞,allkeys-lru策略有可能会将长期未用但实际有用的数据清理掉,所以还是应优化数据处理为主。

到此这篇关于redis 限制内存使用大小的实现的文章就介绍到这了,更多相关redis 限制内存内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Redis 相关文章推荐
redis配置文件中常用配置详解
Apr 14 Redis
详解RedisTemplate下Redis分布式锁引发的系列问题
Apr 27 Redis
Redis延迟队列和分布式延迟队列的简答实现
May 13 Redis
redis哨兵常用命令和监控示例详解
May 27 Redis
k8s部署redis cluster集群的实现
Jun 24 Redis
高并发下Redis如何保持数据一致性(避免读后写)
Mar 18 Redis
使用Redis实现点赞取消点赞的详细代码
Mar 20 Redis
源码分析Redis中 set 和 sorted set 的使用方法
Mar 22 Redis
muduo TcpServer模块源码分析
Apr 26 Redis
解决 redis 无法远程连接
May 15 Redis
Redis 异步机制
May 15 Redis
使用Redis实现秒杀功能的简单方法
Redis6.0搭建集群Redis-cluster的方法
May 08 #Redis
浅谈Redis存储数据类型及存取值方法
Redis IP地址的绑定的实现
May 08 #Redis
redis通过6379端口无法连接服务器(redis-server.exe闪退)
redis 查看所有的key方式
Redis5之后版本的高可用集群搭建的实现
You might like
全国FM电台频率大全 - 26 西藏自治区
2020/03/11 无线电
使用Xdebug调试和优化PHP程序之[1]
2007/04/17 PHP
ThinkPHP3.1新特性之内容解析输出详解
2014/06/19 PHP
php类中的$this,static,final,const,self这几个关键字使用方法
2015/12/14 PHP
thinkphp整合系列之极验滑动验证码geetest功能
2019/06/18 PHP
从javascript语言本身谈项目实战
2006/12/27 Javascript
javascript parseInt 大改造
2009/09/27 Javascript
javascript确认框的三种使用方法
2013/12/17 Javascript
通过JS动态创建一个html DOM元素并显示
2014/10/15 Javascript
实现前后端数据交互方法汇总
2015/04/07 Javascript
JavaScript中reduce()方法的使用详解
2015/06/09 Javascript
jQuery 3.0 的变化及使用方法
2016/02/01 Javascript
详解NodeJs支付宝移动支付签名及验签
2017/01/06 NodeJs
JavaScript中的工厂函数(推荐)
2017/03/08 Javascript
让微信小程序支持ES6中Promise特性的方法详解
2017/06/13 Javascript
JavaScript之json_动力节点Java学院整理
2017/06/29 Javascript
NodeJS使用七牛云存储上传文件的方法
2017/07/24 NodeJs
Vue渲染函数详解
2017/09/15 Javascript
js时间戳与日期格式之间相互转换
2017/12/11 Javascript
加快Vue项目的开发速度的方法
2018/12/12 Javascript
vue中子组件传递数据给父组件的讲解
2019/01/27 Javascript
JavaScript使用setTimeout实现倒计时效果
2021/02/19 Javascript
python实现ftp客户端示例分享
2014/02/17 Python
python生成器generator用法实例分析
2015/06/04 Python
Python中三元表达式的几种写法介绍
2019/03/04 Python
基于Python的ModbusTCP客户端实现详解
2019/07/13 Python
Pytorch学习之torch用法----比较操作(Comparison Ops)
2020/06/28 Python
python实现粒子群算法
2020/10/15 Python
英国户外玩具儿童游乐设备网站:TP Toys(蹦床、攀爬框架、秋千、滑梯和游戏屋)
2018/04/09 全球购物
对孩子的寄语
2014/04/09 职场文书
会计专业毕业生自荐书
2014/06/25 职场文书
工作失职检讨书
2015/01/26 职场文书
校园音乐节目广播稿
2015/08/19 职场文书
教你如何使用Python下载B站视频的详细教程
2021/04/29 Python
Python中的程序流程控制语句
2022/02/24 Python
mysql 索引的数据结构为什么要采用B+树
2022/04/26 MySQL