Node.js中Request模块处理HTTP协议请求的基本使用教程


Posted in Javascript onMarch 31, 2016

这里来介绍一个Node.js的模块——request。有了这个模块,http请求变的超简单。

Node.js中Request模块处理HTTP协议请求的基本使用教程

Request使用超简单,同时支持https和重定向。

var request = require('request');
request('http://www.google.com', function (error, response, body) {
 if (!error && response.statusCode == 200) {
 console.log(body) // 打印google首页
}
})

流:

任何响应都可以输出到文件流。

request('http://google.com/doodle.png').pipe(fs.createWriteStream('doodle.png'))

反过来,也可以将文件传给PUT或POST请求。未提供header的情况下,会检测文件后缀名,在PUT请求中设置相应的content-type。

fs.createReadStream('file.json').pipe(request.put('http://mysite.com/obj.json'))
请求也可以pipe给自己。这种情况下会保留原content-type和content-length。

request.get('http://google.com/img.png').pipe(request.put('http://mysite.com/img.png'))
表单:

request支持application/x-www-form-urlencoded和multipart/form-data实现表单上传。

x-www-form-urlencoded很简单:

request.post('http://service.com/upload', {form:{key:'value'}})

或者:

request.post('http://service.com/upload').form({key:'value'})

使用multipart/form-data不用操心设置header之类的琐事,request会帮你解决。

var r = request.post('http://service.com/upload')
var form = r.form()
form.append('my_field', 'my_value')
form.append('my_buffer', new Buffer([1, 2, 3]))
form.append('my_file', fs.createReadStream(path.join(__dirname, 'doodle.png'))
form.append('remote_file', request('http://google.com/doodle.png'))

HTTP认证:

request.get('http://some.server.com/').auth('username', 'password', false);

request.get('http://some.server.com/', {
 'auth': {
 'user': 'username',
 'pass': 'password',
 'sendImmediately': false
}
});

sendImmediately,默认为真,发送一个基本的认证header。设为false之后,收到401会重试(服务器的401响应必须包含WWW-Authenticate指定认证方法)。

sendImmediately为真时支持Digest认证。

OAuth登录:

// Twitter OAuth
var qs = require('querystring')
 , oauth =
 { callback: 'http://mysite.com/callback/'
 , consumer_key: CONSUMER_KEY
 , consumer_secret: CONSUMER_SECRET
}
 , url = 'https://api.twitter.com/oauth/request_token'
;
request.post({url:url, oauth:oauth}, function (e, r, body) {
 // Ideally, you would take the body in the response
 // and construct a URL that a user clicks on (like a sign in button).
 // The verifier is only available in the response after a user has
 // verified with twitter that they are authorizing your app.
 var access_token = qs.parse(body)
 , oauth =
 { consumer_key: CONSUMER_KEY
 , consumer_secret: CONSUMER_SECRET
 , token: access_token.oauth_token
 , verifier: access_token.oauth_verifier
}
 , url = 'https://api.twitter.com/oauth/access_token'
;
 request.post({url:url, oauth:oauth}, function (e, r, body) {
 var perm_token = qs.parse(body)
 , oauth =
 { consumer_key: CONSUMER_KEY
 , consumer_secret: CONSUMER_SECRET
 , token: perm_token.oauth_token
 , token_secret: perm_token.oauth_token_secret
}
 , url = 'https://api.twitter.com/1/users/show.json?'
 , params =
 { screen_name: perm_token.screen_name
 , user_id: perm_token.user_id
}
;
 url += qs.stringify(params)
 request.get({url:url, oauth:oauth, json:true}, function (e, r, user) {
console.log(user)
})
})
})

定制HTTP header

User-Agent之类可以在options对象中设置。在下面的例子中,我们调用github API找出某仓库的收藏数和派生数。我们使用了定制的User-Agent和https.

var request = require('request');

var options = {
 url: 'https://api.github.com/repos/mikeal/request',
 headers: {
 'User-Agent': 'request'
}
};

function callback(error, response, body) {
 if (!error && response.statusCode == 200) {
 var info = JSON.parse(body);
 console.log(info.stargazers_count +"Stars");
 console.log(info.forks_count +"Forks");
}
}

request(options, callback);

cookies:

默认情况下,cookies是禁用的。在defaults或options将jar设为true,使后续的请求都使用cookie.

var request = request.defaults({jar: true})
request('http://www.google.com', function () {
request('http://images.google.com')
})

通过创建request.jar()的新实例,可以使用定制的cookie,而不是request全局的cookie jar。

var j = request.jar()
var request = request.defaults({jar:j})
request('http://www.google.com', function () {
request('http://images.google.com')
})

或者

var j = request.jar()
var cookie = request.cookie('your_cookie_here')
j.setCookie(cookie, uri, function (err, cookie){})
request({url: 'http://www.google.com', jar: j}, function () {
request('http://images.google.com')
})

注意,setCookie至少需要三个参数,最后一个是回调函数。

可以用request的pipe方法很方便的获取图片的文件流

var request = require('request'),
 fs = require('fs');
 
 request('https://www.google.com.hk/images/srpr/logo3w.png').pipe(fs.createWriteStream('doodle.png'));

更多使用方法和说明可点击这里继续阅读:https://github.com/mikeal/request/

示例

这里写了一个很简单的示例,用来抓取去哪儿网的酒店查询数据(获取酒店某一时间段内各房型的价格排名):

  

var request = require('request'),
 fs = require('fs');
 
 
 var reqUrl = 'http://hotel.qunar.com/price/detail.jsp?fromDate=2012-08-18&toDate=2012-08-19&cityurl=shanghai_city&HotelSEQ=shanghai_city_2856&cn=5';
 
 request({uri:reqUrl}, function(err, response, body) {
 
 //console.log(response.statusCode);
 //console.log(response);
 
 //如果数据量比较大,就需要对返回的数据根据日期、酒店ID进行存储,如果获取数据进行对比的时候直接读文件
 var filePath = __dirname + '/data/data.js';
 
 if (fs.exists(filePath)) {
  fs.unlinkSync(filePath);
 
  console.log('Del file ' + filePath);
 }
 
 fs.writeFile(filePath, body, 'utf8', function(err) {
  if (err) {
  throw err;
  }
 
  console.log('Save ' + filePath + ' ok~');
 });
 
 console.log('Fetch ' + reqUrl + ' ok~');
 });

 

这个例子源于一个做酒店业务的朋友,想知道自己在网站上提供给客户的价格的竞争力:

1、如果提供的价格过低,自己赚到的钱就会少了,所以如果自己价格是最低了,就需要看第二低是多少,然后决定是否调整;

2、如果提供的价格过高,那么被搜索出来的排名结果就比较靠后,没什么客户来预订酒店,业务就没有了

 

因为做的酒店预订业务很多,比如超过2千家以上,如果一个一个依赖人工去查询排名就比较被动,而且很难再做大,所以他的这个需求我分析了一下是可行的,而且可以做成一个很好的实时预警系统(当然数据5~10分钟会自动在页面刷新一次)。这样才能保障利润最大化,提高销售、客户部门的工作效率,加快酒店的合作数量和公司的人员扩张:

1、不亏本,亏本的买卖不做;

2、如果发现提供的价格过低或是过高,需要支持调用平台的api接口,直接修改价格;

3、有自动生成分析报表功能,分析竞争对手在价格调整策略上的变化情况;

Javascript 相关文章推荐
window.requestAnimationFrame是什么意思,怎么用
Jan 13 Javascript
struts2+jquery+json实现异步加载数据(自写)
Jun 24 Javascript
深入理解javascript中的立即执行函数(function(){…})()
Jun 12 Javascript
javascript判断移动端访问设备并解析对应CSS的方法
Feb 05 Javascript
JavaScript中的parse()方法使用简介
Jun 12 Javascript
JS实现选择TextArea内文本的方法
Aug 03 Javascript
jquery插件ContextMenu设置右键菜单
Mar 13 Javascript
微信小程序实现下载进度条的方法
Dec 08 Javascript
详解使用vue-cli脚手架初始化Vue项目下的项目结构
Mar 08 Javascript
关于微信小程序登录的那些事
Jan 08 Javascript
layui radio单选限制下一个radio单选的实例
Sep 03 Javascript
JavaScript如何借用构造函数继承
Nov 06 Javascript
基于JQuery打造无缝滚动新闻步骤详解
Mar 31 #Javascript
JavaScript位移运算符(无符号) >>> 三个大于号 的使用方法详解
Mar 31 #Javascript
JQuery实现简单的服务器轮询效果实例
Mar 31 #Javascript
JavaScript实现复制内容到粘贴板代码
Mar 31 #Javascript
JavaScript是如何实现继承的(六种方式)
Mar 31 #Javascript
JS判断元素是否在数组内的实现代码
Mar 30 #Javascript
javascript检查某个元素在数组中的索引值
Mar 30 #Javascript
You might like
PHP 循环删除无限分类子节点的实现代码
2013/06/21 PHP
浅析php适配器模式(Adapter)
2014/11/25 PHP
Smarty分页实现方法完整实例
2016/05/11 PHP
thinkphp3.x中display方法及show方法的用法实例
2016/05/19 PHP
利用PHP绘图函数实现简单验证码功能的方法
2016/10/18 PHP
php获得刚插入数据的id 的几种方法总结
2018/05/31 PHP
认识延迟时间为0的setTimeout
2008/05/16 Javascript
来自国外的页面JavaScript文件优化
2010/12/08 Javascript
最新的10款jQuery内容滑块插件分享
2011/09/18 Javascript
jQuery Tools tooltip使用说明
2012/07/14 Javascript
JS判定是否原生方法
2013/07/22 Javascript
js代码实现的加入收藏效果并兼容主流浏览器
2014/06/23 Javascript
javascript实现Table排序的方法
2015/05/15 Javascript
vue select组件的使用与禁用实现代码
2018/04/10 Javascript
2种在vue项目中使用百度地图的简单方法
2018/09/28 Javascript
对angularJs中controller控制器scope父子集作用域的实例讲解
2018/10/08 Javascript
jQuery无冲突模式详解
2019/01/17 jQuery
使用apifm-wxapi模块中的问题及解决方法
2019/08/05 Javascript
[04:56]经典回顾:前Ehome 与 前LGD
2015/02/26 DOTA
[02:21]2018完美盛典章节片——初心
2018/12/17 DOTA
python实现随机密码字典生成器示例
2014/04/09 Python
python中日期和时间格式化输出的方法小结
2015/03/19 Python
python批量修改文件编码格式的方法
2018/05/31 Python
opencv转换颜色空间更改图片背景
2019/08/20 Python
python sorted方法和列表使用解析
2019/11/18 Python
利用python绘制正态分布曲线
2021/01/04 Python
怎样声明接口
2014/09/19 面试题
中学生学习生活的自我评价
2013/10/26 职场文书
公司董事长职责
2013/12/12 职场文书
家佳咖啡店创业计划书
2013/12/27 职场文书
母亲追悼会答谢词
2014/01/27 职场文书
电子商务专业求职信
2014/07/10 职场文书
初中生300字旷课检讨书
2014/11/19 职场文书
剑指Offer之Java算法习题精讲二叉树专项训练
2022/03/21 Java/Android
IIS服务器中设置HTTP重定向访问HTTPS
2022/04/29 Servers
讲解Python实例练习逆序输出字符串
2022/05/06 Python