Node.js中的http请求客户端示例(request client)


Posted in Javascript onMay 04, 2017

Node.JS有一个request模块,可以很方便的抓取网页内容。最简单的一个示例:

var request = require('request');

request('http://www.google.com', function (error, response, body) {
 if (!error && response.statusCode == 200) {
  console.log(body);
 }
})

由上例可以看出用request发起一个http请求确实非常简单,不过唯一的问题就是,request模块的第三方依赖比较多,导致这个模块非常地大,要占用好几M的空间。

其实用node.js原生的http模块就可以很方便地写出一个类似的request的功能,只要几十行即可:

var http = require('http')
var url  = require('url')


var request = function(reqUrl, data, cb, headers) {
 var dataType = typeof data

 if (dataType == 'function') {
  headers = cb
  cb   = data
  rawData = null
 } else if (dataType == 'object') {
  rawData = JSON.stringify(data)
 } else {
  rawData = data
 }

 var urlObj = url.parse(reqUrl)

 var options = {
   hostname : urlObj.hostname
  , port   : urlObj.port
  , path   : urlObj.pathname
  , method  : rawData ? 'post' : 'get'
 }

 headers && (options.headers = headers)


 var req = http.request(options, function(res) {
  var receives = []

  if (res.statusCode !== 200) {
   cb && cb(new Error('Request Failed. Status Code: ' + res.statusCode + ' ' + reqUrl))
   return
  }

  res.on('data', function(chunk) {
   receives.push(chunk)
  })

  res.on('end', function() {
   var resData = Buffer.concat(receives).toString()
   try {
    resData = JSON.parse(resData)
   } catch (e) { }

   cb && cb(null, res, resData)
  })
 })

 req.on('error', function(e) {
  cb && cb(e)
 })

 rawData && req.write(rawData)

 req.end()
}


module.exports = request

使用接口与request模块是一样的,比如我们抓取新浪新闻首页的内容

request('http://news.sina.com.cn', function(err, res, data) {
 console.log('geted', data)
})

其次它还支持抓取时附加cookie等header认证信息,如

request('http://news.sina.com.cn', function(err, res, data) {
 console.log('get with cookie', data)
}, { cookie: '_sessionid=1234567890' })

对POST的支持

request('http://news.sina.com.cn', { postdata: 'json' }, function(err, res, data) {
 console.log('get with cookie', data)
}, { cookie: '_sessionid=1234567890' })

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Javascript 相关文章推荐
ExtJS 学习专题(一) 如何应用ExtJS(附实例)
Mar 11 Javascript
Javascript面向对象编程
Mar 18 Javascript
javascript:void(0)的问题使用探讨
Apr 10 Javascript
jQuery蓝色风格滑动导航栏代码分享
Aug 19 Javascript
js微信分享API
Oct 11 Javascript
vue单页应用中如何使用jquery的方法示例
Jul 27 jQuery
Javascript中toFixed计算错误(依赖银行家舍入法的缺陷)解决方法
Aug 22 Javascript
详解基于vue-cli配置移动端自适应
Jan 13 Javascript
在vue项目中引入highcharts图表的方法(详解)
Mar 05 Javascript
node.js实现简单的压缩/解压缩功能示例
Nov 05 Javascript
jquery实现手风琴案例
May 04 jQuery
Vue实现附件上传功能
May 28 Javascript
Bootstrap布局之栅格系统学习笔记
May 04 #Javascript
vue.js开发环境搭建教程
May 04 #Javascript
jQuery使用JSONP实现跨域获取数据的三种方法详解
May 04 #jQuery
详解webpack es6 to es5支持配置
May 04 #Javascript
angular 基于ng-messages的表单验证实例
May 04 #Javascript
JS实现标签页切换效果
May 04 #Javascript
ES6下React组件的写法示例代码
May 04 #Javascript
You might like
再说下636单管机
2021/03/02 无线电
ThinkPHP结合ajax、Mysql实现的客户端通信功能代码示例
2014/06/23 PHP
身份证号码前六位所代表的省,市,区, 以及地区编码下载
2007/04/12 Javascript
js实现运行代码需要刷新的解决方法
2007/08/18 Javascript
Firefox和IE浏览器兼容JS脚本写法小结
2008/07/07 Javascript
Mootools 1.2教程(3) 数组使用简介
2009/09/14 Javascript
JavaScript对象和字串之间的转换实例探讨
2013/04/21 Javascript
JQuery与Ajax调用新浪API获取短网址的代码
2014/02/07 Javascript
NodeJS制作爬虫全过程
2014/12/22 NodeJs
JS实现进入页面时渐变背景色的方法
2015/02/25 Javascript
JavaScript处理解析JSON数据过程详解
2015/09/11 Javascript
Bootstrap中定制LESS-颜色及导航条(推荐)
2016/11/21 Javascript
Bootstrap实现下拉菜单多级联动
2017/11/23 Javascript
vue+element实现批量删除功能的示例
2018/02/28 Javascript
Vue+axios实现统一接口管理的方法
2018/07/23 Javascript
vue eslint简要配置教程详解
2019/07/26 Javascript
以一段代码为实例快速入门Python2.7
2015/03/31 Python
使用Python编写vim插件的简单示例
2015/04/17 Python
Python使用QRCode模块生成二维码实例详解
2017/06/14 Python
python实现微信每日一句自动发送给喜欢的人
2019/04/29 Python
python使用正则表达式去除中文文本多余空格,保留英文之间空格方法详解
2020/02/11 Python
对python中各个response的使用说明
2020/03/28 Python
使用Python FastAPI构建Web服务的实现
2020/06/08 Python
利用python3筛选excel中特定的行(行值满足某个条件/行值属于某个集合)
2020/09/04 Python
python如何实时获取tcpdump输出
2020/09/16 Python
css3 clip实现圆环进度条的示例代码
2018/02/07 HTML / CSS
What is the purpose of Void class? Void类的作用是什么?
2016/10/31 面试题
教师产假请假条范文
2014/04/10 职场文书
机关领导干部作风整顿整改措施
2014/09/19 职场文书
2014年学校教学工作总结
2014/12/06 职场文书
2014年乡镇纪委工作总结
2014/12/19 职场文书
感谢信格式范文
2015/01/22 职场文书
学校社团活动总结
2015/05/07 职场文书
gtx1650怎么样 gtx1650显卡相当于什么级别
2022/04/08 数码科技
MySQL中优化SQL语句的方法(show status、explain分析服务器状态信息)
2022/04/09 MySQL
Mysql中常用的join连接方式
2022/05/11 MySQL