node 使用 async 控制并发的方法


Posted in Javascript onMay 07, 2018

目标

建立一个 lesson5 项目,在其中编写代码。

代码的入口是 app.js,当调用 node app.js 时,它会输出 CNode(https://cnodejs.org/ ) 社区首页的所有主题的标题,链接和第一条评论,以 json 的格式。

注意:与上节课不同,并发连接数需要控制在 5 个。

输出示例:

[
 {
  "title": "【公告】发招聘帖的同学留意一下这里",
  "href": "http://cnodejs.org/topic/541ed2d05e28155f24676a12",
  "comment1": "呵呵呵呵"
 },
 {
  "title": "发布一款 Sublime Text 下的 JavaScript 语法高亮插件",
  "href": "http://cnodejs.org/topic/54207e2efffeb6de3d61f68f",
  "comment1": "沙发!"
 }
]

知识点

学习 async(https://github.com/caolan/async ) 的使用。这里有个详细的 async demo 演示:https://github.com/alsotang/async_demo

学习使用 async 来控制并发连接数。

课程内容

lesson4 的代码其实是不完美的。为什么这么说,是因为在 lesson4 中,我们一次性发了 40 个并发请求出去,要知道,除去 CNode 的话,别的网站有可能会因为你发出的并发连接数太多而当你是在恶意请求,把你的 IP 封掉。

我们在写爬虫的时候,如果有 1000 个链接要去爬,那么不可能同时发出 1000 个并发链接出去对不对?我们需要控制一下并发的数量,比如并发 10 个就好,然后慢慢抓完这 1000 个链接。

用 async 来做这件事很简单。

这次我们要介绍的是 async 的 mapLimit(arr, limit, iterator, callback) 接口。另外,还有个常用的控制并发连接数的接口是 queue(worker, concurrency),大家可以去 https://github.com/caolan/async#queueworker-concurrency 看看说明。

这回我就不带大家爬网站了,我们来专注知识点:并发连接数控制。

对了,还有个问题是,什么时候用 eventproxy,什么时候使用 async 呢?它们不都是用来做异步流程控制的吗?

我的答案是:

当你需要去多个源(一般是小于 10 个)汇总数据的时候,用 eventproxy 方便;当你需要用到队列,需要控制并发数,或者你喜欢函数式编程思维时,使用 async。大部分场景是前者,所以我个人大部分时间是用 eventproxy 的。

正题开始。

首先,我们伪造一个 fetchUrl(url, callback) 函数,这个函数的作用就是,当你通过

fetchUrl('http://www.baidu.com', function (err, content) {
 // do something with `content`
});

调用它时,它会返回 http://www.baidu.com 的页面内容回来。

当然,我们这里的返回内容是假的,返回延时是随机的。并且在它被调用时,会告诉你它现在一共被多少个地方并发调用着。

// 并发连接数的计数器
var concurrencyCount = 0;
var fetchUrl = function (url, callback) {
 // delay 的值在 2000 以内,是个随机的整数
 var delay = parseInt((Math.random() * 10000000) % 2000, 10);
 concurrencyCount++;
 console.log('现在的并发数是', concurrencyCount, ',正在抓取的是', url, ',耗时' + delay + '毫秒');
 setTimeout(function () {
  concurrencyCount--;
  callback(null, url + ' html content');
 }, delay);
};

我们接着来伪造一组链接

var urls = [];
for(var i = 0; i < 30; i++) {
 urls.push('http://datasource_' + i);
}

这组链接的长这样:

node 使用 async 控制并发的方法

接着,我们使用 async.mapLimit 来并发抓取,并获取结果。

async.mapLimit(urls, 5, function (url, callback) {
 fetchUrl(url, callback);
}, function (err, result) {
 console.log('final:');
 console.log(result);
});

运行输出是这样的:

node 使用 async 控制并发的方法

可以看到,一开始,并发链接数是从 1 开始增长的,增长到 5 时,就不再增加。当其中有任务完成时,再继续抓取。并发连接数始终控制在 5 个。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Javascript 相关文章推荐
基于jquery的分页控件(C#)
Jan 06 Javascript
Jquery 模板数据绑定插件的使用方法详解
Jul 08 Javascript
js处理json以及字符串的比较等常用操作
Sep 08 Javascript
javascript实现禁止右键和F12查看源代码
Dec 26 Javascript
jQuery实现的产品自动360度旋转展示特效源码分享
Aug 21 Javascript
jQuery计算文本框字数及限制文本框字数的方法
Mar 01 Javascript
谈谈Vue.js——vue-resource全攻略
Jan 16 Javascript
jQuery中DOM节点的删除方法总结(超全面)
Jan 22 Javascript
vue与vue-i18n结合实现后台数据的多语言切换方法
Mar 08 Javascript
vue.js实现图书管理功能
Sep 24 Javascript
Vue使用富文本编辑器Vue-Quill-Editor(含图片自定义上传服务、清除复制粘贴样式等)
May 15 Javascript
利用uni-app生成微信小程序的踩坑记录
Apr 05 Javascript
Angular 数据请求的实现方法
May 07 #Javascript
JavaScript数组去重算法实例小结
May 07 #Javascript
JavaScript求一组数的最小公倍数和最大公约数常用算法详解【面向对象,回归迭代和循环】
May 07 #Javascript
详解VUE-地区选择器(V-Distpicker)组件使用心得
May 07 #Javascript
JavaScript实现的DOM树遍历方法详解【二叉DOM树、多叉DOM树】
May 07 #Javascript
Vue 实现树形视图数据功能
May 07 #Javascript
JavaScript 跨域之POST实现方法
May 07 #Javascript
You might like
【COS正片】蕾姆睡衣cos,纯洁可爱被治愈了 cn名濑弥七
2020/03/02 日漫
php 变量定义方法
2009/06/14 PHP
php调用shell的方法
2014/11/05 PHP
php类的扩展和继承用法实例
2015/06/20 PHP
PHP7 标准库修改
2021/03/09 PHP
javascript replace()正则替换实现代码
2010/02/26 Javascript
javascript中this做事件参数相关问题解答
2013/03/17 Javascript
JS获取浏览器版本及名称实现函数
2013/04/02 Javascript
在firefox和Chrome下关闭浏览器窗口无效的解决方法
2014/01/16 Javascript
javascript实现简单的html5视频播放器
2015/05/06 Javascript
JS简单实现无缝滚动效果实例
2016/08/24 Javascript
jQuery tagsinput在h5邮件客户端中应用详解
2016/09/26 Javascript
利用Jquery实现几款漂亮实用的时间轴(附示例代码)
2017/02/15 Javascript
Bootstrap 3浏览器兼容性问题及解决方案
2017/04/11 Javascript
js和jquery中获取非行间样式
2017/05/05 jQuery
BootStrap 导航条实例代码
2017/05/18 Javascript
纯JS实现只能输入数字的简单代码
2017/06/21 Javascript
详解使用JWT实现单点登录(完全跨域方案)
2019/08/02 Javascript
Vue form表单动态添加组件实战案例
2019/09/02 Javascript
JavaScript实现移动端弹窗后禁止滚动
2020/05/25 Javascript
详解Vue的七种传值方式
2021/02/08 Vue.js
[01:19:34]2014 DOTA2国际邀请赛中国区预选赛 New Element VS Dream time
2014/05/22 DOTA
Python Web框架Pylons中使用MongoDB的例子
2013/12/03 Python
python 美化输出信息的实例
2018/10/15 Python
基于Python打造账号共享浏览器功能
2019/05/30 Python
布隆过滤器的概述及Python实现方法
2019/12/08 Python
python中for in的用法详解
2020/04/17 Python
树莓派4B安装Tensorflow的方法步骤
2020/07/16 Python
实例讲解使用HTML5 Canvas绘制阴影效果的方法
2016/03/25 HTML / CSS
美国咖啡批发网站:Coffee.org
2017/06/29 全球购物
成人毕业生自我鉴定
2013/10/18 职场文书
《学会待客》教学反思
2014/02/22 职场文书
体育系毕业生自荐信
2014/06/28 职场文书
2015年世界水日活动总结
2015/02/09 职场文书
入党介绍人意见范文
2015/06/01 职场文书
使用JS前端技术实现静态图片局部流动效果
2022/08/05 Javascript