Node.JS发送http请求批量检查文件中的网页地址、服务是否有效可用


Posted in Javascript onNovember 20, 2019

在node.js中只需要几行代码就可以发送http请求,通过检查statusCode可以判断该网址服务是否有效。

如下代码:

var http = require('http')
var checkExists = function(urlPath, cb) {
 var options = { host: '192.168.2.101', port: 8064, path: encodeURI(urlPath)}
 var req = http.request(options, function(r) {
 cb && cb(r.statusCode == 200);
 })
 req.end()
}

以上代码检查相对网址是否可用,需手动修改服务器地址和端口,使用以下代码可以检查完整地址的可用性。

var http = require('http')
var url = require('url')
var checkUrlExists = function (Url, cb) {
 var options = {
 //method: 'HEAD',
 host: url.parse(Url).host,
 port: 80,
 path: url.parse(Url).pathname
 };
 var req = http.request(options, function (r) {
 cb && cb( r.statusCode == 200);
 });
 req.end();
}

搭配 fs 模块,可以指解析文件中的地址是否可用,完整代码如下:

var http = require('http')
var url = require('url')
var fs = require('fs')
/*
检查完整网址是否可用
*/
var checkUrlExists = function (Url, cb) {
 var options = {
 //method: 'HEAD',
 host: url.parse(Url).host,
 port: 80,
 path: url.parse(Url).pathname
 };
 var req = http.request(options, function (r) {
 cb && cb( r.statusCode == 200);
 });
 req.end();
}
/*
检查相对网址是否可用,需修改服务器地址和端口
*/
var checkExists = function(urlPath, cb) {
 var options = { host: '192.168.2.101', port: 8064, path: encodeURI(urlPath)}
 var req = http.request(options, function(r) {
 cb && cb(r.statusCode == 200);
 })
 req.end()
}
var checkFile = function(filePath) {
 fs.readFile(filePath, function(err, data) {
 if (err) {
 console.log(err)
 return
 }
 var lines = data.toString().split(/[\r\n]+/)
 var curr = 0
 var urlPath
 var checkNext = function(exist) {
 if (curr > lines.length - 1) {
 console.log('end')
 return
 }
 //console.log(curr, 'exist', exist, urlPath)
 if (!exist) {
 console.log(curr, 'exist', exist, urlPath)
 }
 if (curr >= lines.lines) {
 console.log('end')
 return
 }
 urlPath = lines[curr++]
 checkExists(urlPath, checkNext)
 }
 checkNext()
 })
}
checkFile('./visit.csv')

总结

以上所述是小编给大家介绍的Node.JS发送http请求批量检查文件中的网页地址、服务是否有效可用,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Javascript 相关文章推荐
论坛特效代码收集(落伍转发-不错)
Dec 02 Javascript
jsPDF导出pdf示例
May 02 Javascript
js实现分享到随页面滚动而滑动效果的方法
Apr 10 Javascript
HTML5+setCutomValidity()函数验证表单实例分享
Apr 24 Javascript
JS实现鼠标框选效果完整实例
Jun 20 Javascript
Vue.js在使用中的一些注意知识点
Apr 29 Javascript
vue 监听键盘回车事件详解 @keyup.enter || @keyup.enter.native
Aug 25 Javascript
vue拖拽组件使用方法详解
Dec 01 Javascript
vue.js指令v-for使用以及下标索引的获取
Jan 31 Javascript
ES6 let和const定义变量与常量的应用实例分析
Jun 27 Javascript
纯js+css实现仿移动端淘宝网站的弹出详情框功能
Dec 29 Javascript
vue+spring boot实现校验码功能
May 27 Vue.js
详解Nuxt.js 实战集锦
Nov 19 #Javascript
javascript的delete运算符知识点总结
Nov 19 #Javascript
100行代码实现vue表单校验功能(小白自编)
Nov 19 #Javascript
Angular 多级路由实现登录页面跳转(小白教程)
Nov 19 #Javascript
nodemon实现Typescript项目热更新的示例代码
Nov 19 #Javascript
vue的三种图片引入方式代码实例
Nov 19 #Javascript
JS在Array数组中按指定位置删除或添加元素对象方法示例
Nov 19 #Javascript
You might like
PHP入门教程之表单与验证实例详解
2016/09/11 PHP
DB.ASP 用Javascript写ASP很灵活很好用很easy
2011/07/31 Javascript
学习从实践开始之jQuery插件开发 菜单插件开发
2012/05/03 Javascript
打印json对象的内容及JSON.stringify函数应用
2013/03/29 Javascript
如何使用jQuery技术开发ios风格的页面导航菜单
2015/07/29 Javascript
Bootstrap弹出框modal上层的输入框不能获得焦点问题的解决方法
2016/12/13 Javascript
Angular JS数据的双向绑定详解及实例
2016/12/31 Javascript
Highcharts+NodeJS搭建数据可视化平台示例
2017/01/01 NodeJs
jQuery Validation Engine验证控件调用外部函数验证的方法
2017/01/18 Javascript
Javascript Event(事件)的传播与冒泡
2017/01/23 Javascript
微信小程序支付及退款流程详解
2017/11/30 Javascript
JS中用EL表达式获取上下文参数值的方法
2018/03/28 Javascript
vue-router启用history模式下的开发及非根目录部署方法
2018/12/23 Javascript
微信小程序使用canvas的画图操作示例
2019/01/18 Javascript
原生js实现文件上传、下载、封装等实例方法
2020/01/05 Javascript
Vuex的API文档说明详解
2020/02/05 Javascript
python实现textrank关键词提取
2018/06/22 Python
使用python批量读取word文档并整理关键信息到excel表格的实例
2018/11/07 Python
使用Python向DataFrame中指定位置添加一列或多列的方法
2019/01/29 Python
python 利用浏览器 Cookie 模拟登录的用户访问知乎的方法
2019/07/11 Python
python关于变量名的基础知识点
2020/03/03 Python
python 爬取腾讯视频评论的实现步骤
2021/02/18 Python
利用css3-animation实现逐帧动画效果
2016/03/10 HTML / CSS
css3翻牌翻数字的示例代码
2020/02/07 HTML / CSS
德国高品质男装及配饰商城:Cultizm(Raw Denim原色牛仔裤)
2018/04/16 全球购物
英国泽西岛植物:Jersey Plants Direct
2019/08/07 全球购物
什么是事务?为什么需要事务?
2012/01/09 面试题
写好自荐信的技巧
2013/11/08 职场文书
奥利奥广告词
2014/03/20 职场文书
优秀党支部书记事迹材料
2014/05/29 职场文书
大学生毕业评语
2014/12/31 职场文书
银行给客户的感谢信
2015/01/23 职场文书
入党转正介绍人意见
2015/06/03 职场文书
初中运动会前导词
2015/07/20 职场文书
生产车间管理制度
2015/08/04 职场文书
Python中OpenCV实现查找轮廓的实例
2021/06/08 Python