redis lua限流算法实现示例


Posted in Redis onJuly 15, 2022

限流算法

常见的限流算法

  • 计数器算法
  • 漏桶算法
  • 令牌桶算法

计数器算法

  顾名思义,计数器算法是指在一定的时间窗口内允许的固定数量的请求.比如,2s内允许10个请求,30s内允许100个请求等等.如果设置的时间粒度越细,那么相对而言限流就会越平滑,控制的粒度就会更细.

场景分析

试想,如果设置的粒度比较粗会出现什么样的问题呢?如下图设置一个 1000/3s 的限流计数统计.

redis lua限流算法实现示例

图中的限流策略为3s内允许的最大请求量为1000,那么会出现2个极端:
 

极端情况1:

  • 第1s请流量为10,  
  • 第2s请流量为10,  
  • 第3s请流量突然激增到980.这意味着在这一刻,有大量的请求蜂拥而至,假设服务每秒能处理的

上线为800/1s,但是此刻却有超过这个量级的请求量,那么后果是不堪设想的.

极端情况2:  

  • 第1s请流量突然就达到990,
  • 留给后续第2s,3s的可请求数量就非常少了,可能会出现大量的拒绝请求.

结论:

如果用统计计数算法,尽量保持粒度切割精细.

算法实现

redis的ttl特性完美的满足了这一需求,将时间窗口设置为key的失效时间,然后将key的值每次请求+1即可.伪代码实现思路:

//1.判断是否存在该key
if(EXIT(key)){
  // 1.1自增后判断是否大于最大值,并返回结果
  if(INCR(key) > maxPermit){
     return false;
  }
 return true;
}
//2.不存在key,则设置key初始值为1,失效时间为3秒
SET(KEY,1);
EXPIRE(KEY,3);

漏铜算法

漏桶算法核心概念:

  • 桶的容量是固定的,并且水流以一个固定的速率流出;
  • 流入的水流可以是任意速率;
  • 如果流入的水流超出了桶的容量,则后续流入的水流溢出(请求被丢弃)。
  • 如果桶内没有水,则不需要流出

redis lua限流算法实现示例

缺点:

不难想象漏桶算法并不能很好的应对突发的流量限制,在某一个时间段流量激增,则漏桶算法处理就比较无能为力.这个时候就需要用到和他相反设计的令牌桶算法

令牌桶算法:

redis lua限流算法实现示例

如上图所示,整个请求流程一目了然.简单概括如下:

1.用户请求资源时首选从桶里获取令牌,如果有令牌则放行,如此同时桶里的令牌数量-1

2.于此同时,以一定的速率往桶里加入令牌,这个速度是可根据实际场景随意设置.

算法实现

var key;
var maxPermit;//桶的容量,即最大请求限制
var expire;//失效时间
var bucketInterval;//每次向桶里添加令牌的时间间隔
var bucketNum;//每次向桶里添加令牌的个数
var lastTimeKey = key +"last";//标记上一次操作时间
//判断是否存在该key
if(EXIT(key)){
  var value = GET(key);
  var diffTime = now() - lastTimeKey;
  // 1.1判断是否超出时间间隔
  if(diffTime  > bucketInterval){
      // 1.2根据时间间隔,计算出应该向桶里添加令牌的个数
      local maxValue = value+math.floor(diff/interval)*step;
      if (maxValue > limit)
         value = limit;
      else
         value = maxValue;
     //设置key的值及操作时间
     SET(key,value);
     SET(lastTimeKey,now());     
  }
  // 2.1在时间间隔内,判断桶里是否有值
  if(value <= 0){
     reurn false;
  }else{
    // 2.2 减1
    DECR(key);
  }
reture true;
}
//2.不存在key,则设置key初始值为maxPermit-1
SET(key,maxPermit-1);
EXPIRE(lastTimeKey,now());

上面实现代码只是伪代码,提供的是一种思路而已. 仔细想来其中某个环节其实并不完美.大家可以参考Guava的ratelimit实现思路,他的限流就是基于令牌桶算法,但是比较遗憾的是在单机下的限流.

思考:  

就是时间间隔如果过长的话,一次性向桶里添加的令牌数量则是桶的最大容量!那么某个时间的瞬间请求过来,服务器的压力是非常大的.

所以此处增加令牌数可以设置的稍微合理些,哪怕间隔时间再长!

以上就是redis lua限流算法实现示例的详细内容,更多关于redis lua限流算法的资料请关注三水点靠木其它相关文章!


Tags in this post...

Redis 相关文章推荐
redis限流的实际应用
Apr 24 Redis
使用Redis实现秒杀功能的简单方法
May 08 Redis
浅谈Redis中的RDB快照
Jun 29 Redis
redis不能访问本机真实ip地址的解决方案
Jul 07 Redis
Redis分布式锁Redlock的实现
Aug 07 Redis
Redis读写分离搭建的完整步骤
Sep 14 Redis
Redis三种集群模式详解
Oct 05 Redis
详解redis在微服务领域的贡献
Oct 16 Redis
Redis 哨兵机制及配置实现
Mar 25 Redis
Redis基本数据类型String常用操作命令
Jun 01 Redis
Redis入门基础常用操作命令整理
Jun 01 Redis
基于Redission的分布式锁实战
Aug 14 Redis
Redis Lua脚本实现ip限流示例
Jul 15 #Redis
redis protocol通信协议及使用详解
Jul 15 #Redis
Redis sentinel哨兵集群的实现步骤
Jul 15 #Redis
Redis唯一ID生成器的实现
Jul 07 #Redis
Redis+AOP+自定义注解实现限流
Jun 28 #Redis
利用Redis实现点赞功能的示例代码
Jun 28 #Redis
一文教你快速生成MySQL数据库关系图
Jun 28 #Redis
You might like
Yii的CDbCriteria查询条件用法实例
2014/12/04 PHP
php使用parse_url和parse_str解析URL
2015/02/22 PHP
PHP实现多文件上传的方法
2015/07/08 PHP
php基于SQLite实现的分页功能示例
2017/06/21 PHP
JavaScript中Math对象使用说明
2008/01/16 Javascript
js 替换功能函数,用正则表达式解决,js的全部替换
2010/12/08 Javascript
六款帮助你实现惊艳视差滚动效果的jQuery插件
2012/09/14 Javascript
jQuery下实现等待指定元素加载完毕(可改成纯js版)
2013/07/11 Javascript
jquery.cookie.js实现用户登录保存密码功能的方法
2016/04/15 Javascript
onclick和onblur冲突问题的快速解决方法
2016/04/28 Javascript
JS实现登录页面记住密码和enter键登录方法推荐
2016/05/10 Javascript
详解JavaScript权威指南之对象
2016/09/27 Javascript
Javascript中关于Array.filter()的妙用详解
2016/12/04 Javascript
微信小程序中顶部导航栏的实现代码
2017/03/30 Javascript
在vue项目中使用sass的配置方法
2018/03/20 Javascript
在vue中使用Autoprefixed的方法
2018/07/27 Javascript
Nodejs调用Dll模块的方法
2018/09/17 NodeJs
Vue监听页面刷新和关闭功能
2019/06/20 Javascript
EasyUI 数据表格datagrid列自适应内容宽度的实现
2019/07/18 Javascript
Node.js 实现简单的无侵入式缓存框架的方法
2019/07/21 Javascript
基于JS判断对象是否是数组
2020/01/10 Javascript
Python代码调试的几种方法总结
2015/04/15 Python
对python Tkinter Text的用法详解
2018/10/11 Python
Python爬虫将爬取的图片写入world文档的方法
2018/11/07 Python
Python3中lambda表达式与函数式编程讲解
2019/01/14 Python
Python检查ping终端的方法
2019/01/26 Python
python使用minimax算法实现五子棋
2019/07/29 Python
Django REST Swagger实现指定api参数
2020/07/07 Python
python unichr函数知识点总结
2020/12/16 Python
HTML5 图片悬停放大的实现代码示例
2019/12/04 HTML / CSS
Javascript如何发送一个Ajax请求
2015/01/26 面试题
网络管理员岗位职责
2014/03/17 职场文书
家长通知书家长评语
2014/04/17 职场文书
毕业生政审意见范文
2015/06/04 职场文书
圣贤教育改变命运观后感
2015/06/16 职场文书
通讯稿范文
2015/07/22 职场文书