nodejs中sleep功能实现暂停几秒的方法


Posted in NodeJs onJuly 12, 2017

我在网上了解了一下nodejs中sleep功能,搜索了很多关于nodejs中sleep功能介绍,下面我来记录一下,有需要了解的朋友可参考。希望此文章对各位有所帮助。

一 背景

在使用nodejs爬虫的时候,经常会遇到别人的网站对频率的反爬机制,这个时候如果不做处理程序就会挂掉,重新启动也会继续被屏蔽.这个问题怎么解决呢,我的想法就是程序暂停10分钟或者更长的时间,继续爬取.

二 方法

其实使用setTimeout就可以实现,只是nodejs异步已经很金字塔了,再加一层会更恐怖,所以本文使用nodejs的第三方模块async来实现,async的目的就是让多个异步的程序,按照开发者想要的顺序来执行,代码书写符合同步风格,其实运行还是异步的,也解决了回调金字塔的问题.

async基础使用 :https://3water.com/article/118526.htm

三 正常代码

访问3个网站,百度,优酷,腾讯为例.不暂停的代码.

var async = require('async'); 
var http = require('http'); 
var task = []; 
task.push(function(callback){ 
 console.time('访问3个网站时间统计'); 
 http.get('http://www.baidu.com/', function(res) {  
  console.log("百度访问结果: " + res.statusCode);  
  callback(null); 
 }).on('error', function(e) {  
  console.log("百度访问结果: " + e.message); 
  callback(e); 
 }); 
}) 
 
task.push(function(callback){ 
 http.get('http://www.youku.com/', function(res) {  
  console.log("优酷访问结果: " + res.statusCode); 
  callback(null); 
 }).on('error', function(e) { 
  console.log("优酷访问结果: " + e.message); 
  callback(e); 
 }); 
}) 
 
task.push(function(callback){ 
 http.get('http://www.qq.com/', function(res) {  
  console.log("腾讯访问结果: " + res.statusCode); 
  callback(null); 
 }).on('error', function(e) {  
  console.log("腾讯访问结果: " + e.message); 
  callback(e); 
 }); 
}) 
 
async.waterfall(task, function(err,result){ 
 console.timeEnd('访问3个网站时间统计'); 
 if(err) return console.log(err); 
 console.log('全部访问成功'); 
})

四 测试

nodejs中sleep功能实现暂停几秒的方法

执行访问网站需要时间,3个网站访问时间统计254ms.

五 暂停代码

比如,访问第一个网站后暂停5秒,访问第二个网站后暂停10秒.

var async = require('async'); 
var http = require('http'); 
var task = []; 
task.push(function(callback){ 
 console.time('访问3个网站时间统计'); 
 http.get('http://www.baidu.com/', function(res) {  
  console.log("百度访问结果: " + res.statusCode); 
  setTimeout(function() { 
   callback(null); 
  }, 5000); 
 }).on('error', function(e) {  
  console.log("百度访问结果: " + e.message); 
  callback(e); 
 }); 
}) 
 
task.push(function(callback){ 
 http.get('http://www.youku.com/', function(res) {  
  console.log("优酷访问结果: " + res.statusCode); 
  setTimeout(function() { 
   callback(null); 
  }, 10000); 
 }).on('error', function(e) { 
  console.log("优酷访问结果: " + e.message); 
  callback(e); 
 }); 
}) 
 
task.push(function(callback){ 
 http.get('http://www.qq.com/', function(res) {  
  console.log("腾讯访问结果: " + res.statusCode); 
  callback(null); 
 }).on('error', function(e) {  
  console.log("腾讯访问结果: " + e.message); 
  callback(e); 
 }); 
}) 
 
async.waterfall(task, function(err,result){ 
 console.timeEnd('访问3个网站时间统计'); 
 if(err) return console.log(err); 
 console.log('全部访问成功'); 
})

六 测试

nodejs中sleep功能实现暂停几秒的方法

从打印中能看得出,访问第二个网站等待了5秒,访问第三个网站等待了10秒.OK!

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

NodeJs 相关文章推荐
基于promise.js实现nodejs的promises库
Jul 06 NodeJs
Nodejs下用submit提交表单提示cannot post错误的解决方法
Nov 21 NodeJs
NodeJs下的测试框架Mocha的简单介绍
Feb 22 NodeJs
nodejs爬虫遇到的乱码问题汇总
Apr 07 NodeJs
nodejs之get/post请求的几种方式小结
Jul 26 NodeJs
Nodejs 复制文件/文件夹的方法
Aug 24 NodeJs
nodejs调取微信收货地址的方法
Dec 20 NodeJs
nodejs+mongodb+vue前后台配置ueditor的示例代码
Jan 02 NodeJs
nodejs更新package.json中的dependencies依赖到最新版本的方法
Oct 10 NodeJs
nodejs检测因特网是否断开的解决方案
Apr 17 NodeJs
Nodejs实现微信分账的示例代码
Jan 19 NodeJs
浅谈JS和Nodejs中的事件驱动
May 05 NodeJs
nodejs中解决异步嵌套循环和循环嵌套异步的问题
Jul 12 #NodeJs
深入学习nodejs中的async模块的使用方法
Jul 12 #NodeJs
nodejs后台集成ueditor富文本编辑器的实例
Jul 11 #NodeJs
nodejs开发微信小程序实现密码加密
Jul 11 #NodeJs
nodejs接入阿里大鱼短信验证码的方法
Jul 10 #NodeJs
Nodejs之TCP服务端与客户端聊天程序详解
Jul 07 #NodeJs
Nodejs之http的表单提交
Jul 07 #NodeJs
You might like
Ajax+PHP边学边练 之五 图片处理
2009/12/03 PHP
你可能不知道PHP get_meta_tags()函数
2014/05/12 PHP
什么情况下可以不写PHP的闭合标签“?>”
2014/08/28 PHP
PHP创建多级目录的两种方法
2016/10/28 PHP
javascript中的缓动效果实现程序
2012/12/29 Javascript
freemarker判断对象是否为空的方法
2015/08/13 Javascript
JavaScript编写检测用户所使用的浏览器的代码示例
2016/05/05 Javascript
解析浏览器端的AJAX缓存机制
2016/06/21 Javascript
jQuery实现的简单拖拽功能示例
2016/09/13 Javascript
jquery与ajax获取特殊字符实例详解
2017/01/08 Javascript
AngularJS实现的select二级联动下拉菜单功能示例
2017/10/25 Javascript
JavaScript实现为事件句柄绑定监听函数的方法分析
2017/11/14 Javascript
使用watch监听路由变化和watch监听对象的实例
2018/02/24 Javascript
vue+webpack 打包文件 404 页面空白的解决方法
2018/02/28 Javascript
Vue.js进阶知识点总结
2018/04/01 Javascript
Vue CLI3中使用compass normalize的方法
2019/05/30 Javascript
JS校验与最终登陆界面功能完整示例
2020/01/13 Javascript
vue路由结构可设一层方便动态添加路由操作
2020/08/31 Javascript
JS绘图Flot如何实现可选显示曲线图功能
2020/10/16 Javascript
Python+微信接口实现运维报警
2016/08/27 Python
windows 10下安装搭建django1.10.3和Apache2.4的方法
2017/04/05 Python
Python 删除连续出现的指定字符的实例
2018/06/29 Python
python递归全排列实现方法
2018/08/18 Python
使用 Visual Studio Code(VSCode)搭建简单的Python+Django开发环境的方法步骤
2018/12/17 Python
深入解析神经网络从原理到实现
2019/07/26 Python
python return逻辑判断表达式实现解析
2019/12/02 Python
Python 如何操作 SQLite 数据库
2020/08/17 Python
阿联酋团购网站:Groupon阿联酋
2016/10/14 全球购物
微软瑞士官方网站:Microsoft瑞士
2018/04/20 全球购物
.NET初级开发工程师面试题(包括Javascript)
2012/08/22 面试题
优秀大学生的自我评价
2014/01/16 职场文书
交通事故赔偿协议书范本
2014/04/15 职场文书
推广普通话标语
2014/06/27 职场文书
学校党的群众路线教育实践活动制度建设计划
2014/11/03 职场文书
2016清明节森林防火广播稿
2015/12/17 职场文书
浅谈GO中的Channel以及死锁的造成
2022/03/18 Golang