redis 限制内存使用大小的实现


Posted in Redis onMay 08, 2021

记录一次生产环境问题排查过程:

生产环境部署方式:nginx + uwsgi + flask

问题描述:

发现生产环境中之前正常运行的服务突然不可用了,查看程序日志发现部分接口访问时报I/O写错误,nginx acess.log显示504,error.log显示 upstream time out.
同时 netstat -apn | grep 6379 | wc -l 检查发现redis存在大量连接,进一步检查发现其中大多为 SYN_SENT 包,连接大多归属于uwsgi 进程。

  因为程序中有很多接口被调用是会访问redis, 以为是redis连接池导致,对程序中的redis连接池进行优化后重启服务,刚启动时一切正常,http 200, 但几分钟后服务再次挂掉,http 504.

检查系统资源使用情况,发现 kswapd0 进程CPU占用很高,这个进程是当物理内存不足时,会将一部分硬盘当做虚拟内存来使用, 使用swap分区与内存换页操作交换数据,导致CPU占用过高, 再细看发现redis-server内存占用已超过100%:

redis 限制内存使用大小的实现

进入redis中查看info memory和各存储数据的key下数据量,果然存在大量未处理完毕的数据。

到此问题终于是找到了。

设置redis最大占用内存

# 编辑redis配置文件,加入最大内存使用限制,我根据服务器的情况设置为3G
maxmemory 3221225472

设置redis数据过期策略:

redis中有6种过期策略:

# 根据LRU算法生成的过期时间来删除
# volatile-lru -> remove the key with an expire set using an LRU algorithm
# 根据LRU算法删除任何key。
# allkeys-lru -> remove any key accordingly to the LRU algorithm
# 根据过期设置来随机删除key。
# volatile-random -> remove a random key with an expire set
# 无差别随机删。
# allkeys-random -> remove a random key, any key
# 根据最近过期时间来删除(辅以TTL)
# volatile-ttl -> remove the key with the nearest expire time (minor TTL)
# 谁也不删,直接在写操作时返回错误。
# noeviction -> don't expire at all, just return an error on write operations

在redis配置文件中设置过期策略为:maxmemory-policy allkeys-lru

  一开始是设置为volatile-lru的,但是该策略只是清除设置过期时间的key值,因为很多key并没有设置过期时间。因此修改为maxmemory-policy allkeys-lru,指明非活跃近期很少用的key值清除.

  在使用maxmemory-policy allkeys-lru策略时,内存超限后将不再存储数据,但数据的读取删除操作不会受影响,超限时显示错误

OOM command not allowed when used memory > 'maxmemory'

redis 限制内存使用大小的实现

重启程序,至此服务终于正常运行。

总结:本次的问题归根结底是redis中存储入了大量脏数据,但数据处理并没有及时的清理掉这部分数据,最终导致服务停滞,allkeys-lru策略有可能会将长期未用但实际有用的数据清理掉,所以还是应优化数据处理为主。

到此这篇关于redis 限制内存使用大小的实现的文章就介绍到这了,更多相关redis 限制内存内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Redis 相关文章推荐
Redis数据结构之链表与字典的使用
May 11 Redis
redis实现共同好友的思路详解
May 26 Redis
Redis如何实现分布式锁
Aug 23 Redis
使用redis实现延迟通知功能(Redis过期键通知)
Sep 04 Redis
linux下安装redis图文详细步骤
Dec 04 Redis
Redis之RedisTemplate配置方式(序列和反序列化)
Mar 13 Redis
浅谈Redis 中的过期删除策略和内存淘汰机制
Apr 03 Redis
详解Redis的三种常用的缓存读写策略步骤
May 06 Redis
Redis特殊数据类型HyperLogLog基数统计算法讲解
Jun 01 Redis
Redis唯一ID生成器的实现
Jul 07 Redis
redis protocol通信协议及使用详解
Jul 15 Redis
使用Redis实现秒杀功能的简单方法
Redis6.0搭建集群Redis-cluster的方法
May 08 #Redis
浅谈Redis存储数据类型及存取值方法
Redis IP地址的绑定的实现
May 08 #Redis
redis通过6379端口无法连接服务器(redis-server.exe闪退)
redis 查看所有的key方式
Redis5之后版本的高可用集群搭建的实现
You might like
PHP中文件缓存转内存缓存的方法
2011/12/06 PHP
使用Apache的htaccess防止图片被盗链的解决方法
2013/04/27 PHP
PHP ADODB实现事务处理功能示例
2018/05/25 PHP
Javascript 遍历对象中的子对象
2009/07/03 Javascript
Google 静态地图API实现代码
2010/11/19 Javascript
真正的JQuery.ajax传递中文参数的解决方法
2011/05/28 Javascript
jQuery 拖动层(在可视区域范围内)
2012/05/24 Javascript
一行代码告别document.getElementById
2012/06/01 Javascript
javascript图片延迟加载实现方法及思路
2015/12/31 Javascript
IE和Firefox之间在JavaScript语法上的差异
2016/04/22 Javascript
javascript封装addLoadEvent实现页面同时加载执行多个函数的方法
2016/07/25 Javascript
EditPlus中的正则表达式 实战(2)
2016/12/15 Javascript
vue2.0实现倒计时的插件(时间戳 刷新 跳转 都不影响)
2017/03/30 Javascript
使用jQuery实现简单的tab框实例
2017/08/22 jQuery
在HTML文档中嵌入JavaScript的四种方法
2018/05/07 Javascript
小程序云函数调用API接口的方法
2019/05/17 Javascript
深入学习Vue nextTick的用法及原理
2019/10/08 Javascript
[38:40]2018DOTA2亚洲邀请赛 4.6淘汰赛 mineski vs LGD 第一场
2018/04/10 DOTA
Python 文件操作的详解及实例
2017/09/18 Python
python 时间信息“2018-02-04 18:23:35“ 解析成字典形式的结果代码详解
2018/04/19 Python
python多行字符串拼接使用小括号的方法
2020/03/19 Python
django从请求到响应的过程深入讲解
2018/08/01 Python
python感知机实现代码
2019/01/18 Python
PyCharm GUI界面开发和exe文件生成的实现
2020/03/04 Python
python中Array和DataFrame相互转换的实例讲解
2021/02/03 Python
介绍一下Java中的Class类
2015/04/10 面试题
大学毕业生自我鉴定
2013/11/05 职场文书
博士研究生自我鉴定范文
2013/12/04 职场文书
财务方面个人工作的自我评价
2013/12/28 职场文书
运动会通讯稿50字
2014/01/30 职场文书
《狐假虎威》教学反思
2014/02/07 职场文书
标准的毕业生自荐信
2014/04/20 职场文书
中队活动总结
2014/08/27 职场文书
幸福中国演讲稿
2014/09/12 职场文书
大学生实习证明范文(5篇)
2014/09/18 职场文书
村级干部党员公开承诺事项
2015/05/04 职场文书