redis lua限流算法实现示例


Posted in Redis onJuly 15, 2022

限流算法

常见的限流算法

  • 计数器算法
  • 漏桶算法
  • 令牌桶算法

计数器算法

  顾名思义,计数器算法是指在一定的时间窗口内允许的固定数量的请求.比如,2s内允许10个请求,30s内允许100个请求等等.如果设置的时间粒度越细,那么相对而言限流就会越平滑,控制的粒度就会更细.

场景分析

试想,如果设置的粒度比较粗会出现什么样的问题呢?如下图设置一个 1000/3s 的限流计数统计.

redis lua限流算法实现示例

图中的限流策略为3s内允许的最大请求量为1000,那么会出现2个极端:
 

极端情况1:

  • 第1s请流量为10,  
  • 第2s请流量为10,  
  • 第3s请流量突然激增到980.这意味着在这一刻,有大量的请求蜂拥而至,假设服务每秒能处理的

上线为800/1s,但是此刻却有超过这个量级的请求量,那么后果是不堪设想的.

极端情况2:  

  • 第1s请流量突然就达到990,
  • 留给后续第2s,3s的可请求数量就非常少了,可能会出现大量的拒绝请求.

结论:

如果用统计计数算法,尽量保持粒度切割精细.

算法实现

redis的ttl特性完美的满足了这一需求,将时间窗口设置为key的失效时间,然后将key的值每次请求+1即可.伪代码实现思路:

//1.判断是否存在该key
if(EXIT(key)){
  // 1.1自增后判断是否大于最大值,并返回结果
  if(INCR(key) > maxPermit){
     return false;
  }
 return true;
}
//2.不存在key,则设置key初始值为1,失效时间为3秒
SET(KEY,1);
EXPIRE(KEY,3);

漏铜算法

漏桶算法核心概念:

  • 桶的容量是固定的,并且水流以一个固定的速率流出;
  • 流入的水流可以是任意速率;
  • 如果流入的水流超出了桶的容量,则后续流入的水流溢出(请求被丢弃)。
  • 如果桶内没有水,则不需要流出

redis lua限流算法实现示例

缺点:

不难想象漏桶算法并不能很好的应对突发的流量限制,在某一个时间段流量激增,则漏桶算法处理就比较无能为力.这个时候就需要用到和他相反设计的令牌桶算法

令牌桶算法:

redis lua限流算法实现示例

如上图所示,整个请求流程一目了然.简单概括如下:

1.用户请求资源时首选从桶里获取令牌,如果有令牌则放行,如此同时桶里的令牌数量-1

2.于此同时,以一定的速率往桶里加入令牌,这个速度是可根据实际场景随意设置.

算法实现

var key;
var maxPermit;//桶的容量,即最大请求限制
var expire;//失效时间
var bucketInterval;//每次向桶里添加令牌的时间间隔
var bucketNum;//每次向桶里添加令牌的个数
var lastTimeKey = key +"last";//标记上一次操作时间
//判断是否存在该key
if(EXIT(key)){
  var value = GET(key);
  var diffTime = now() - lastTimeKey;
  // 1.1判断是否超出时间间隔
  if(diffTime  > bucketInterval){
      // 1.2根据时间间隔,计算出应该向桶里添加令牌的个数
      local maxValue = value+math.floor(diff/interval)*step;
      if (maxValue > limit)
         value = limit;
      else
         value = maxValue;
     //设置key的值及操作时间
     SET(key,value);
     SET(lastTimeKey,now());     
  }
  // 2.1在时间间隔内,判断桶里是否有值
  if(value <= 0){
     reurn false;
  }else{
    // 2.2 减1
    DECR(key);
  }
reture true;
}
//2.不存在key,则设置key初始值为maxPermit-1
SET(key,maxPermit-1);
EXPIRE(lastTimeKey,now());

上面实现代码只是伪代码,提供的是一种思路而已. 仔细想来其中某个环节其实并不完美.大家可以参考Guava的ratelimit实现思路,他的限流就是基于令牌桶算法,但是比较遗憾的是在单机下的限流.

思考:  

就是时间间隔如果过长的话,一次性向桶里添加的令牌数量则是桶的最大容量!那么某个时间的瞬间请求过来,服务器的压力是非常大的.

所以此处增加令牌数可以设置的稍微合理些,哪怕间隔时间再长!

以上就是redis lua限流算法实现示例的详细内容,更多关于redis lua限流算法的资料请关注三水点靠木其它相关文章!


Tags in this post...

Redis 相关文章推荐
详解Redis实现限流的三种方式
Apr 27 Redis
Redis 哨兵集群的实现
Jun 18 Redis
redis 存储对象的方法对比分析
Aug 02 Redis
分布式Redis Cluster集群搭建与Redis基本用法
Feb 24 Redis
Redis之RedisTemplate配置方式(序列和反序列化)
Mar 13 Redis
在Centos 8.0中安装Redis服务器的教程详解
Mar 21 Redis
浅谈Redis 中的过期删除策略和内存淘汰机制
Apr 03 Redis
Redis超详细讲解高可用主从复制基础与哨兵模式方案
Apr 07 Redis
Grafana可视化监控系统结合SpringBoot使用
Apr 19 Redis
详解Redis的三种常用的缓存读写策略步骤
May 06 Redis
浅谈Redis的事件驱动模型
May 30 Redis
Redis唯一ID生成器的实现
Jul 07 Redis
Redis Lua脚本实现ip限流示例
Jul 15 #Redis
redis protocol通信协议及使用详解
Jul 15 #Redis
Redis sentinel哨兵集群的实现步骤
Jul 15 #Redis
Redis唯一ID生成器的实现
Jul 07 #Redis
Redis+AOP+自定义注解实现限流
Jun 28 #Redis
利用Redis实现点赞功能的示例代码
Jun 28 #Redis
一文教你快速生成MySQL数据库关系图
Jun 28 #Redis
You might like
PHP封装的MSSql操作类完整实例
2016/05/26 PHP
jQuery开发者都需要知道的5个小技巧
2010/01/08 Javascript
javascript 三种编解码方式
2010/02/01 Javascript
js bind 函数 使用闭包保存执行上下文
2011/12/26 Javascript
获取服务器传来的数据 用JS去空格的正则表达式
2012/03/26 Javascript
解决jquery的datepicker的本地化以及Today问题
2012/05/23 Javascript
全面兼容的javascript时间格式化函数(比较实用)
2014/05/14 Javascript
给before和after伪元素设置js效果的方法
2015/12/04 Javascript
学习使用bootstrap3栅格系统
2016/04/12 Javascript
js 基础篇必看(点击事件轮播图的简单实现)
2016/08/20 Javascript
Angularjs中的页面访问权限怎么设置
2016/11/11 Javascript
vue计算属性时v-for处理数组时遇到的一个bug问题
2018/01/21 Javascript
VUE2 前端实现 静态二级省市联动选择select的示例
2018/02/09 Javascript
vue将时间戳转换成自定义时间格式的方法
2018/03/02 Javascript
Node.js的Koa实现JWT用户认证方法
2018/05/05 Javascript
详解封装基础的angular4的request请求方法
2018/06/05 Javascript
Angular服务Request异步请求的实例讲解
2018/08/13 Javascript
vue this.reload 方法 配置
2018/09/12 Javascript
详解Vue.js iview实现树形权限表(可扩展表)
2018/09/30 Javascript
JavaScript实现HSL拾色器
2020/05/21 Javascript
[01:10]3.19DOTA2发布会 三代刀塔人第一代
2014/03/25 DOTA
[44:22]完美世界DOTA2联赛循环赛 FTD vs PXG BO2第一场 11.01
2020/11/02 DOTA
python client使用http post 到server端的代码
2013/02/10 Python
Python cookbook(数据结构与算法)将多个映射合并为单个映射的方法
2018/04/19 Python
Python坐标线性插值应用实现
2019/11/13 Python
详解HTML5中的manifest缓存使用
2015/09/09 HTML / CSS
成都思必达公司C#程序员招聘面试题
2013/06/26 面试题
如何用Java实现列出某个目录下的所有子目录
2015/07/20 面试题
英文版销售经理个人求职信
2013/11/20 职场文书
幼儿园安全生产月活动总结
2014/07/05 职场文书
承德避暑山庄导游词
2015/02/03 职场文书
酒店优秀员工推荐信
2015/03/24 职场文书
幼儿园大班开学寄语(2015秋季)
2015/05/27 职场文书
《确定位置》教学反思
2016/02/18 职场文书
Oracle使用别名的好处
2022/04/19 Oracle
MySQL 字符集 character
2022/05/04 MySQL