redis 限制内存使用大小的实现


Posted in Redis onMay 08, 2021

记录一次生产环境问题排查过程:

生产环境部署方式:nginx + uwsgi + flask

问题描述:

发现生产环境中之前正常运行的服务突然不可用了,查看程序日志发现部分接口访问时报I/O写错误,nginx acess.log显示504,error.log显示 upstream time out.
同时 netstat -apn | grep 6379 | wc -l 检查发现redis存在大量连接,进一步检查发现其中大多为 SYN_SENT 包,连接大多归属于uwsgi 进程。

  因为程序中有很多接口被调用是会访问redis, 以为是redis连接池导致,对程序中的redis连接池进行优化后重启服务,刚启动时一切正常,http 200, 但几分钟后服务再次挂掉,http 504.

检查系统资源使用情况,发现 kswapd0 进程CPU占用很高,这个进程是当物理内存不足时,会将一部分硬盘当做虚拟内存来使用, 使用swap分区与内存换页操作交换数据,导致CPU占用过高, 再细看发现redis-server内存占用已超过100%:

redis 限制内存使用大小的实现

进入redis中查看info memory和各存储数据的key下数据量,果然存在大量未处理完毕的数据。

到此问题终于是找到了。

设置redis最大占用内存

# 编辑redis配置文件,加入最大内存使用限制,我根据服务器的情况设置为3G
maxmemory 3221225472

设置redis数据过期策略:

redis中有6种过期策略:

# 根据LRU算法生成的过期时间来删除
# volatile-lru -> remove the key with an expire set using an LRU algorithm
# 根据LRU算法删除任何key。
# allkeys-lru -> remove any key accordingly to the LRU algorithm
# 根据过期设置来随机删除key。
# volatile-random -> remove a random key with an expire set
# 无差别随机删。
# allkeys-random -> remove a random key, any key
# 根据最近过期时间来删除(辅以TTL)
# volatile-ttl -> remove the key with the nearest expire time (minor TTL)
# 谁也不删,直接在写操作时返回错误。
# noeviction -> don't expire at all, just return an error on write operations

在redis配置文件中设置过期策略为:maxmemory-policy allkeys-lru

  一开始是设置为volatile-lru的,但是该策略只是清除设置过期时间的key值,因为很多key并没有设置过期时间。因此修改为maxmemory-policy allkeys-lru,指明非活跃近期很少用的key值清除.

  在使用maxmemory-policy allkeys-lru策略时,内存超限后将不再存储数据,但数据的读取删除操作不会受影响,超限时显示错误

OOM command not allowed when used memory > 'maxmemory'

redis 限制内存使用大小的实现

重启程序,至此服务终于正常运行。

总结:本次的问题归根结底是redis中存储入了大量脏数据,但数据处理并没有及时的清理掉这部分数据,最终导致服务停滞,allkeys-lru策略有可能会将长期未用但实际有用的数据清理掉,所以还是应优化数据处理为主。

到此这篇关于redis 限制内存使用大小的实现的文章就介绍到这了,更多相关redis 限制内存内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Redis 相关文章推荐
redis连接被拒绝的解决方案
Apr 12 Redis
浅谈Redis存储数据类型及存取值方法
May 08 Redis
为Java项目添加Redis缓存的方法
May 18 Redis
Redis如何实现分布式锁
Aug 23 Redis
Redis入门教程详解
Aug 30 Redis
Redis 常见使用场景
Aug 30 Redis
Springboot/Springcloud项目集成redis进行存取的过程解析
Dec 04 Redis
解决Redis启动警告问题
Feb 24 Redis
解决linux下redis数据库overcommit_memory问题
Feb 24 Redis
Redis集群节点通信过程/原理流程分析
Mar 18 Redis
详解Redis的三种常用的缓存读写策略步骤
May 06 Redis
Redis sentinel哨兵集群的实现步骤
Jul 15 Redis
使用Redis实现秒杀功能的简单方法
Redis6.0搭建集群Redis-cluster的方法
May 08 #Redis
浅谈Redis存储数据类型及存取值方法
Redis IP地址的绑定的实现
May 08 #Redis
redis通过6379端口无法连接服务器(redis-server.exe闪退)
redis 查看所有的key方式
Redis5之后版本的高可用集群搭建的实现
You might like
php实现jQuery扩展函数
2009/10/30 PHP
php中的路径问题与set_include_path使用介绍
2014/02/11 PHP
微信公众平台接口开发入门示例
2014/12/24 PHP
php实现处理输入转义字符的代码
2015/11/08 PHP
php中青蛙跳台阶的问题解决方法
2018/10/14 PHP
PHP实现常用排序算法的方法
2020/02/05 PHP
JQuery实现的图文自动轮播效果插件
2015/06/19 Javascript
javascript原生ajax写法分享
2016/04/10 Javascript
使用JS中的exec()方法构造正则表达式验证
2016/08/01 Javascript
jQuery向父辈遍历的简单方法
2016/09/18 Javascript
浅谈jQuery中的eq()与DOM中element.[]的区别
2016/10/28 Javascript
使用BootStrap进行轮播图的制作
2017/01/06 Javascript
Vue.js实现在下拉列表区域外点击即可关闭下拉列表的功能(自定义下拉列表)
2017/05/30 Javascript
React Native如何消除启动时白屏的方法
2017/08/08 Javascript
一个基于react的图片裁剪组件示例
2018/04/18 Javascript
基于jQuery实现挂号平台首页源码
2020/01/06 jQuery
vant-ui框架的一个bug(解决切换后onload不触发)
2020/11/11 Javascript
Vue2.x-使用防抖以及节流的示例
2021/03/02 Vue.js
[36:33]完美世界DOTA2联赛循环赛 Matador vs Forest 第一场 11.06
2020/11/06 DOTA
在Python中使用模块的教程
2015/04/27 Python
Python实现曲线点抽稀算法的示例
2017/10/12 Python
浅析Python3爬虫登录模拟
2018/02/07 Python
Python使用Phantomjs截屏网页的方法
2018/05/17 Python
Python3中lambda表达式与函数式编程讲解
2019/01/14 Python
Django框架实现的普通登录案例【使用POST方法】
2019/05/15 Python
python SocketServer源码深入解读
2019/09/17 Python
python实现宿舍管理系统
2019/11/22 Python
pip已经安装好第三方库但pycharm中import时还是标红的解决方案
2020/10/09 Python
Python爬虫入门教程02之笔趣阁小说爬取
2021/01/24 Python
华为旗下电子商务平台:华为商城
2016/08/06 全球购物
高分子材料个人求职信范文
2013/09/25 职场文书
学院领导推荐信
2013/10/30 职场文书
简历中自我评价范文3则
2013/12/14 职场文书
青年志愿者活动总结
2014/04/26 职场文书
2015年社会实践个人总结
2015/03/06 职场文书
一年级语文教学随笔
2015/08/14 职场文书