浅谈Koa服务限流方法实践


Posted in Javascript onOctober 23, 2017

最近接了一个需求,很简单,就是起一个server,收到请求时调用某个提供好的接口,然后把结果返回。因为这个接口的性能问题,同时在请求的不能超过特定数目,要在服务中进行限流。

限流的要求是,限制同时执行的数目,超出这个数目后要在一个队列中进行缓存。

koa 中间件不调用 next

最初的想法是在 koa 中间件中进行计数,超过6个时将next函数缓存下来。等正在进行中的任务结束时,调用next继续其他请求。

之后发现 koa 中间件中,不执行next函数请求并不会停下,而是不再调用之后的中间件,直接返回内容。

const Koa = require('koa');
const app = new Koa();
app.use((ctx, next) => {
 console.log('middleware 1');
 setTimeout(() => {
  next();
 }, 3000);
 ctx.body = 'hello';
});
app.use((ctx, next) => {
 console.log('middleware 2');
});
app.listen(8989);

以上代码首先在控制台打出 ‘middleware 1' => 浏览器收到 ‘hello' => 控制台打出 ‘middleware 2'。

这里还有一个要注意的地方,就是一个请求已经结束(finish)后,他的next方法还是可以继续调用,之后的middleware还是继续运行的(但是对ctx的修改不会生效,因为请求已经返回了)。同样,关闭的请求(close)也是同样的表现。

使用 await 让请求进行等待

延迟next函数执行不能达到目的。接下来自然想到的就是使用await让当前请求等待。await的函数返回一个Promise,我们将这个Promise中的resolve函数存储到队列中,延迟调用。

const Koa = require('koa');
const app = new Koa();
const queue = [];
app.use(async (ctx, next) => {
 setTimeout(() => {
  queue.shift()();
 }, 3000);
 await delay();
 ctx.body = 'hello';
});
function delay() {
 return new Promise((resolve, reject) => {
  queue.push(resolve);
 });
}
app.listen(8989);

上面这段代码,在delay函数中返回一个Promise,Promise的resolve函数存入队列中。设置定时3s后执行队列中的resolve函数,使请求继续执行。

针对路由进行限流,还是针对请求进行限流?

限流的基本原理实现后,下面一个问题就是限流代码该写在哪里?基本上,有两个位置:

针对接口进行限流

由于我们的需求中,限流是因为要请求接口的性能有限。所以我们可以单独针对这个请求进行限流:

async function requestSomeApi() {
 // 如果已经超过了最大并发
 if (counter > maxAllowedRequest) {
  await delay();
 }
 counter++;
 const result = await request('http://some.api');
 counter--;
 queue.shift()();
 return result;
}

下面还有一个方便复用的版本。

async function limitWrapper(func, maxAllowedRequest) {
 const queue = [];
 const counter = 0;
 return async function () {
  if (counter > maxAllowedRequest) {
   await new Promise((resolve, reject) => {
    queue.push(resolve);
   });
  }
  counter++;
  const result = await func();
  counter--;
  queue.shift()();
  return result;
 }
}

针对路由进行限流

这种方式是写一个koa中间件,在中间件中进行限流:

async function limiter(ctx, next) => {
 // 如果超过了最大并发数目
 if (counter >= maxAllowedRequest) {
  // 如果当前队列中已经过长
  await new Promise((resolve, reject) => {
   queue.push(resolve);
  });
 }
 store.counter++;
 await next();
 store.counter--;
 queue.shift()();
};

之后针对不同路由在router中使用这个中间件就好了:

router.use('/api', rateLimiter);

比较

实现了针对接口进行限流,觉得逻辑有些乱,于是改用了针对路由进行限流,一切运行的很完美。

直到我又接了个需求,是要请求三次这个接口返回三次请求的结果数组。现在问题来了,我们不能直接调用接口,因为要限流。也不能直接调用请求接口的函数因为我们的限流是以路由为单位的。那怎么办呢?我们只有请求这个路由了,自己请求自己。。。

需要注意的地方

监听close事件,将请求从队列中移出
已经存储在队列中的请求,有可能遇到用户取消的情况。前面说过koa中即使请求取消,之后的中间件还是会运行,也就是还会执行需要限流的接口,造成浪费。

可以监听close事件来达到这个目的,每个请求我们需要用hash值来标记:

ctx.res.on('close', () => {
 const index = queue.findIndex(item => item.hash === hash);
 if (index > -1) {
  queue.splice(index, 1);
 }
});

设置超时时间

为了防止用户等待过长时间,需要设置超时时间,这在koa中很容易实现:

const server = app.listen(config.port);
server.timeout = DEFAULT_TIMEOUT;

当前队列已经过长

如果当前队列已经过长了,即使加入队列中也会超时。因此我们还需要处理队列过长的情况:

if (queue.length > maxAllowedRequest) {
 ctx.body = 'error message';
 return;
}

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Javascript 相关文章推荐
jQuery事件绑定on()、bind()与delegate() 方法详解
Jun 03 Javascript
jQuery给元素添加样式的方法详解
Dec 30 Javascript
设置jquery UI 控件的大小方法
Dec 12 Javascript
解决拦截器对ajax请求的拦截实例详解
Dec 21 Javascript
js实现将json数组显示前台table中
Jan 10 Javascript
js微信应用场景之微信音乐相册案例分享
Aug 11 Javascript
JavaScript中EventLoop介绍
Jan 22 Javascript
JavaScript实现一个带AI的井字棋游戏源码
May 21 Javascript
JS对象与json字符串相互转换实现方法示例
Jun 14 Javascript
小程序自定义日历效果
Dec 29 Javascript
解决layer.msg 不居中 ifram中的问题
Sep 05 Javascript
不刷新网页就能链接新的js文件方法总结
Mar 01 Javascript
浅谈vue中使用图片懒加载vue-lazyload插件详细指南
Oct 23 #Javascript
angularjs实现猜大小功能
Oct 23 #Javascript
详解在vue-cli项目中使用mockjs(请求数据删除数据)
Oct 23 #Javascript
angularjs实现天气预报功能
Jun 16 #Javascript
angular.js实现购物车功能
Oct 23 #Javascript
使用store来优化React组件的方法
Oct 23 #Javascript
node文件批量重命名的方法示例
Oct 23 #Javascript
You might like
smarty模板引擎从配置文件中获取数据的方法
2015/01/22 PHP
php截取视频指定帧为图片
2016/05/16 PHP
PHP远程连接oracle数据库操作实现方法图文详解
2019/04/11 PHP
鼠标事件延时切换插件
2011/03/12 Javascript
JavaScript中的几个关键概念的理解-原型链的构建
2011/05/12 Javascript
Microsfot .NET Framework4.0框架 安装失败的解决方法
2013/08/14 Javascript
超简单JS二级、多级联动的简单实例
2014/02/18 Javascript
jQuery实现的类似淘宝网站搜索框样式代码分享
2015/08/24 Javascript
JS+CSS实现鼠标经过弹出一个DIV框完整实例(带缓冲动画渐变效果)
2016/03/25 Javascript
AngularJS基础 ng-options 指令详解
2016/08/02 Javascript
javascript中对象的定义、使用以及对象和原型链操作小结
2016/12/14 Javascript
微信小程序页面开发注意事项整理
2017/05/18 Javascript
JavaScript设置名字输入不合法的实现方法
2017/05/23 Javascript
JavaScript之RegExp_动力节点Java学院整理
2017/06/29 Javascript
jQuery实现鼠标响应式透明度渐变动画效果示例
2018/02/13 jQuery
解决vue中无法动态修改jqgrid组件 url地址的问题
2018/03/01 Javascript
vue 音乐App QQ音乐搜索列表最新接口跨域设置方法
2018/09/25 Javascript
layer实现登录弹框,登录成功后关闭弹框并调用父窗口的例子
2019/09/11 Javascript
实例探究Python以并发方式编写高性能端口扫描器的方法
2016/06/14 Python
Django 2.0版本的新特性抢先看!
2018/01/05 Python
docker django无法访问redis容器的解决方法
2019/08/21 Python
keras的siamese(孪生网络)实现案例
2020/06/12 Python
python中Django文件上传方法详解
2020/08/05 Python
Linux如何压缩可执行文件
2013/10/21 面试题
地理科学专业毕业生求职信
2013/10/15 职场文书
咖啡馆创业计划书
2014/01/26 职场文书
绿化先进工作者事迹材料
2014/01/30 职场文书
新护士岗前培训制度
2014/02/02 职场文书
致100米运动员广播稿
2014/02/14 职场文书
工程造价专业大学生职业规划范文
2014/03/09 职场文书
预备党员入党自我评价范文
2014/03/10 职场文书
会计专业求职信
2014/08/10 职场文书
服务承诺书
2015/01/19 职场文书
避暑山庄导游词
2015/02/04 职场文书
公司欠款证明
2015/06/24 职场文书
js前端设计模式优化50%表单校验代码示例
2022/06/21 Javascript