Node.js中Request模块处理HTTP协议请求的基本使用教程


Posted in Javascript onMarch 31, 2016

这里来介绍一个Node.js的模块——request。有了这个模块,http请求变的超简单。

Node.js中Request模块处理HTTP协议请求的基本使用教程

Request使用超简单,同时支持https和重定向。

var request = require('request');
request('http://www.google.com', function (error, response, body) {
 if (!error && response.statusCode == 200) {
 console.log(body) // 打印google首页
}
})

流:

任何响应都可以输出到文件流。

request('http://google.com/doodle.png').pipe(fs.createWriteStream('doodle.png'))

反过来,也可以将文件传给PUT或POST请求。未提供header的情况下,会检测文件后缀名,在PUT请求中设置相应的content-type。

fs.createReadStream('file.json').pipe(request.put('http://mysite.com/obj.json'))
请求也可以pipe给自己。这种情况下会保留原content-type和content-length。

request.get('http://google.com/img.png').pipe(request.put('http://mysite.com/img.png'))
表单:

request支持application/x-www-form-urlencoded和multipart/form-data实现表单上传。

x-www-form-urlencoded很简单:

request.post('http://service.com/upload', {form:{key:'value'}})

或者:

request.post('http://service.com/upload').form({key:'value'})

使用multipart/form-data不用操心设置header之类的琐事,request会帮你解决。

var r = request.post('http://service.com/upload')
var form = r.form()
form.append('my_field', 'my_value')
form.append('my_buffer', new Buffer([1, 2, 3]))
form.append('my_file', fs.createReadStream(path.join(__dirname, 'doodle.png'))
form.append('remote_file', request('http://google.com/doodle.png'))

HTTP认证:

request.get('http://some.server.com/').auth('username', 'password', false);

request.get('http://some.server.com/', {
 'auth': {
 'user': 'username',
 'pass': 'password',
 'sendImmediately': false
}
});

sendImmediately,默认为真,发送一个基本的认证header。设为false之后,收到401会重试(服务器的401响应必须包含WWW-Authenticate指定认证方法)。

sendImmediately为真时支持Digest认证。

OAuth登录:

// Twitter OAuth
var qs = require('querystring')
 , oauth =
 { callback: 'http://mysite.com/callback/'
 , consumer_key: CONSUMER_KEY
 , consumer_secret: CONSUMER_SECRET
}
 , url = 'https://api.twitter.com/oauth/request_token'
;
request.post({url:url, oauth:oauth}, function (e, r, body) {
 // Ideally, you would take the body in the response
 // and construct a URL that a user clicks on (like a sign in button).
 // The verifier is only available in the response after a user has
 // verified with twitter that they are authorizing your app.
 var access_token = qs.parse(body)
 , oauth =
 { consumer_key: CONSUMER_KEY
 , consumer_secret: CONSUMER_SECRET
 , token: access_token.oauth_token
 , verifier: access_token.oauth_verifier
}
 , url = 'https://api.twitter.com/oauth/access_token'
;
 request.post({url:url, oauth:oauth}, function (e, r, body) {
 var perm_token = qs.parse(body)
 , oauth =
 { consumer_key: CONSUMER_KEY
 , consumer_secret: CONSUMER_SECRET
 , token: perm_token.oauth_token
 , token_secret: perm_token.oauth_token_secret
}
 , url = 'https://api.twitter.com/1/users/show.json?'
 , params =
 { screen_name: perm_token.screen_name
 , user_id: perm_token.user_id
}
;
 url += qs.stringify(params)
 request.get({url:url, oauth:oauth, json:true}, function (e, r, user) {
console.log(user)
})
})
})

定制HTTP header

User-Agent之类可以在options对象中设置。在下面的例子中,我们调用github API找出某仓库的收藏数和派生数。我们使用了定制的User-Agent和https.

var request = require('request');

var options = {
 url: 'https://api.github.com/repos/mikeal/request',
 headers: {
 'User-Agent': 'request'
}
};

function callback(error, response, body) {
 if (!error && response.statusCode == 200) {
 var info = JSON.parse(body);
 console.log(info.stargazers_count +"Stars");
 console.log(info.forks_count +"Forks");
}
}

request(options, callback);

cookies:

默认情况下,cookies是禁用的。在defaults或options将jar设为true,使后续的请求都使用cookie.

var request = request.defaults({jar: true})
request('http://www.google.com', function () {
request('http://images.google.com')
})

通过创建request.jar()的新实例,可以使用定制的cookie,而不是request全局的cookie jar。

var j = request.jar()
var request = request.defaults({jar:j})
request('http://www.google.com', function () {
request('http://images.google.com')
})

或者

var j = request.jar()
var cookie = request.cookie('your_cookie_here')
j.setCookie(cookie, uri, function (err, cookie){})
request({url: 'http://www.google.com', jar: j}, function () {
request('http://images.google.com')
})

注意,setCookie至少需要三个参数,最后一个是回调函数。

可以用request的pipe方法很方便的获取图片的文件流

var request = require('request'),
 fs = require('fs');
 
 request('https://www.google.com.hk/images/srpr/logo3w.png').pipe(fs.createWriteStream('doodle.png'));

更多使用方法和说明可点击这里继续阅读:https://github.com/mikeal/request/

示例

这里写了一个很简单的示例,用来抓取去哪儿网的酒店查询数据(获取酒店某一时间段内各房型的价格排名):

  

var request = require('request'),
 fs = require('fs');
 
 
 var reqUrl = 'http://hotel.qunar.com/price/detail.jsp?fromDate=2012-08-18&toDate=2012-08-19&cityurl=shanghai_city&HotelSEQ=shanghai_city_2856&cn=5';
 
 request({uri:reqUrl}, function(err, response, body) {
 
 //console.log(response.statusCode);
 //console.log(response);
 
 //如果数据量比较大,就需要对返回的数据根据日期、酒店ID进行存储,如果获取数据进行对比的时候直接读文件
 var filePath = __dirname + '/data/data.js';
 
 if (fs.exists(filePath)) {
  fs.unlinkSync(filePath);
 
  console.log('Del file ' + filePath);
 }
 
 fs.writeFile(filePath, body, 'utf8', function(err) {
  if (err) {
  throw err;
  }
 
  console.log('Save ' + filePath + ' ok~');
 });
 
 console.log('Fetch ' + reqUrl + ' ok~');
 });

 

这个例子源于一个做酒店业务的朋友,想知道自己在网站上提供给客户的价格的竞争力:

1、如果提供的价格过低,自己赚到的钱就会少了,所以如果自己价格是最低了,就需要看第二低是多少,然后决定是否调整;

2、如果提供的价格过高,那么被搜索出来的排名结果就比较靠后,没什么客户来预订酒店,业务就没有了

 

因为做的酒店预订业务很多,比如超过2千家以上,如果一个一个依赖人工去查询排名就比较被动,而且很难再做大,所以他的这个需求我分析了一下是可行的,而且可以做成一个很好的实时预警系统(当然数据5~10分钟会自动在页面刷新一次)。这样才能保障利润最大化,提高销售、客户部门的工作效率,加快酒店的合作数量和公司的人员扩张:

1、不亏本,亏本的买卖不做;

2、如果发现提供的价格过低或是过高,需要支持调用平台的api接口,直接修改价格;

3、有自动生成分析报表功能,分析竞争对手在价格调整策略上的变化情况;

Javascript 相关文章推荐
帮助避免错误的Javascript陷阱清单
May 31 Javascript
JavaScript 继承的实现
Jul 09 Javascript
jquery 应用代码 方便的排序功能
Feb 06 Javascript
基于jQuery的弹出消息插件 DivAlert之旅(一)
Apr 01 Javascript
父节点获取子节点的字符串示例代码
Feb 26 Javascript
JS跨域请求外部服务器的资源
Feb 06 Javascript
Vue仿手机qq的实例代码(demo)
Sep 08 Javascript
Vue 按键修饰符处理事件的方法
May 04 Javascript
解决vue-cli项目打包出现空白页和路径错误的问题
Sep 04 Javascript
vue项目部署到nginx/tomcat服务器的实现
Aug 26 Javascript
vue 自定义组件的写法与用法详解
Mar 04 Javascript
前端canvas中物体边框和控制点的实现示例
Aug 05 Javascript
基于JQuery打造无缝滚动新闻步骤详解
Mar 31 #Javascript
JavaScript位移运算符(无符号) >>> 三个大于号 的使用方法详解
Mar 31 #Javascript
JQuery实现简单的服务器轮询效果实例
Mar 31 #Javascript
JavaScript实现复制内容到粘贴板代码
Mar 31 #Javascript
JavaScript是如何实现继承的(六种方式)
Mar 31 #Javascript
JS判断元素是否在数组内的实现代码
Mar 30 #Javascript
javascript检查某个元素在数组中的索引值
Mar 30 #Javascript
You might like
获取用户Ip地址通用方法与常见安全隐患(HTTP_X_FORWARDED_FOR)
2013/06/01 PHP
php5.3 注意事项说明
2013/07/01 PHP
如何在php中正确的使用json
2013/08/06 PHP
yii2.0实现创建简单widgets示例
2016/07/18 PHP
php字符串比较函数用法小结(strcmp,strcasecmp,strnatcmp及strnatcasecmp)
2016/07/18 PHP
javascript一些不错的函数脚本代码
2008/09/10 Javascript
Javascript 对象的解释
2008/11/24 Javascript
弹出窗口并且此窗口带有半透明的遮罩层效果
2014/03/13 Javascript
sogou地图API用法实例教程
2014/09/11 Javascript
jQuery插件jFade实现鼠标经过的图片高亮其它变暗
2015/03/14 Javascript
jquery表单验证插件(jquery.validate.js)的3种使用方式
2015/03/28 Javascript
利用js实现禁止复制文本信息
2015/06/03 Javascript
JS组件Bootstrap导航条使用方法详解
2016/04/29 Javascript
bootstrap fileinput 插件使用项目总结(经验)
2017/02/22 Javascript
手把手教你把nodejs部署到linux上跑出hello world
2017/06/19 NodeJs
使用InstantClick.js让页面提前加载200ms
2017/09/12 Javascript
Vue中qs插件的使用详解
2020/02/07 Javascript
Python脚本实现自动发带图的微博
2016/04/27 Python
python 获取url中的参数列表实例
2018/12/18 Python
在python3中pyqt5和mayavi不兼容问题的解决方法
2019/01/08 Python
CSS3 box-sizing属性
2009/04/17 HTML / CSS
中国综合网上购物商城:苏宁易购
2016/08/09 全球购物
国际象棋商店:The Chess Store
2018/07/09 全球购物
PHP面试题及答案二
2015/05/23 面试题
如何写一个Java类既可以用作applet也可以用作java应用
2016/01/18 面试题
心理学专业毕业生推荐信范文
2013/11/21 职场文书
新闻记者个人求职的自我评价
2013/11/28 职场文书
招商业务员岗位职责
2013/12/16 职场文书
工作保证书范文
2014/04/29 职场文书
个人工作主要事迹
2014/05/08 职场文书
幼师大班个人总结
2015/02/13 职场文书
七年级之家长会发言稿范文
2019/09/04 职场文书
Java数据结构之链表相关知识总结
2021/06/18 Java/Android
MySQL 发生同步延迟时Seconds_Behind_Master还为0的原因
2021/06/21 MySQL
基于python定位棋子位置及识别棋子颜色
2021/07/26 Python
Oracle数据库事务的开启与结束详解
2022/06/25 Oracle