浅谈Node.js爬虫之网页请求模块


Posted in Javascript onJanuary 11, 2018

本文介绍了Node.js爬虫之网页请求模块,分享给大家,具体如下:

注:如您下载最新的nodegrass版本,由于部分方法已经更新,本文的例子已经不再适应,详细请查看开源地址中的例子。

一、为什么我要写这样一个模块?

源于笔者想使用Node.js写一个爬虫,虽然Node.js官方API提供的请求远程资源的方法已经非常简便,具体参考

http://nodejs.org/api/http.html 其中对于Http的请求提供了,http.get(options, callback)和http.request(options, callback)两个方法,

看方法便知,get方法用于get方式的请求,而request方法提供更多的参数,例如其它请求方式,请求主机的端口等等。对于Https的请求于Http类似。一个最简单的例子:

var https = require('https');
https.get('https://encrypted.google.com/', function(res) {
 console.log("statusCode: ", res.statusCode);
 console.log("headers: ", res.headers);

 res.on('data', function(d) {
  process.stdout.write(d);
 });

}).on('error', function(e) {
 console.error(e);
});

对于以上代码,我们无非就是想请求远程主机,得到响应信息,例如响应状态,响应头,响应主体内容。其中get方法的第二个参数是一个回调函数,我们异步的获取响应信息,然后,在该回调函数中,res对象又监听data,on方法中第二个参数又是一个回调,而你得到d(你请求到的响应信息)后,很可能在对它进行操作的时候再次引入回调,一层层下去,最后就晕了。。。对于异步方式的编程,对于一些习惯同步方式写代码的同学是非常纠结的,当然国内外已经对此提供了一些非常优秀的同步类库,例如老赵的Wind.js......好像有点扯远了。其实,我们调用get最终要得到的无非就是响应信息,而不关心res.on这样的监听过程,因为太懒惰。不想每次都res.on('data',func),于是诞生了今天我要介绍的nodegrass。

二、nodegrass请求资源,像Jquery的$.get(url,func)

一个最简单的例子:

var nodegrass = require('nodegrass');
nodegrass.get("http://www.baidu.com",function(data,status,headers){
  console.log(status);
  console.log(headers);
  console.log(data);
},'gbk').on('error', function(e) {
  console.log("Got error: " + e.message);
});

咋一看,和官方原来的get没啥区别,确实差不多=。=!只不过少了一层res.on('data',func)的事件监听回调而已。不管你信不信,反正我看上去感觉舒服多了,第二个参数同样是一个回调函数,其中的参数data是响应主体内容,status是响应状态,headers是响应头。得到响应内容,我们就可以对得到的资源提取任何我们感兴趣的信息啦。当然这个例子中,只是简单的打印的控制台而已。第三个参数是字符编码,目前Node.js不支持gbk,这里nodegrass内部引用了iconv-lite进行了处理,所以,如果你请求的网页编码是gbk的,例如百度。只需加上这个参数就行了。

那么对于https的请求呢?如果是官方api,你得引入https模块,但是请求的get方法等和http类似,于是nodegrass顺便把他们整合在一块了。看例子:

var nodegrass = require('nodegrass');
nodegrass.get("https://github.com",function(data,status,headers){
  console.log(status);
  console.log(headers);
  console.log(data);
},'utf8').on('error', function(e) {
  console.log("Got error: " + e.message);
});

nodegrass会根据url自动识别是http还是https,当然你的url必须得有,不能只写www.baidu.com/而需要http://www.baidu.com/。

对于post的请求,nodegrass提供了post方法,看例子:

var ng=require('nodegrass');
ng.post("https://api.weibo.com/oauth2/access_token",function(data,status,headers){
  var accessToken = JSON.parse(data);
  var err = null;
  if(accessToken.error){
     err = accessToken;
  }
  callback(err,accessToken);
  },headers,options,'utf8');

以上是新浪微博Auth2.0请求accessToken的一部分,其中使用nodegrass的post请求access_token的api。

post方法相比get方法多提供了headers请求头参数,options--post的数据,它们都是对象字面量的类型:

var headers = {
    'Content-Type': 'application/x-www-form-urlencoded',
    'Content-Length':data.length
  };

var options = {
       client_id : 'id',
     client_secret : 'cs',
     grant_type : 'authorization_code',
     redirect_uri : 'your callback url',
     code: acode
  };

三、利用nodegrass做代理服务器?……**

看例子:

var ng = require('nodegrass'),
   http=require('http'),
   url=require('url');

   http.createServer(function(req,res){
    var pathname = url.parse(req.url).pathname;
    
    if(pathname === '/'){
      ng.get('http://www.cnblogs.com/',function(data){
        res.writeHeader(200,{'Content-Type':'text/html;charset=utf-8'});
        res.write(data+"\n");
        res.end();
        },'utf8');
      }
   }).listen(8088);
   console.log('server listening 8088...');

就这么简单,当然代理服务器还有复杂的多,这个不算是,但至少你访问本地8088端口,看到的是不是博客园的页面呢?

nodegrass的开源地址:https://github.com/scottkiss/nodegrass

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Javascript 相关文章推荐
IE和Firefox下event事件杂谈
Dec 18 Javascript
导入extjs、jquery 文件时$使用冲突问题解决方法
Jan 14 Javascript
jQuery实现简单的间隔向上滚动效果
Mar 09 Javascript
js改变embed标签src值的方法
Apr 10 Javascript
js类式继承与原型式继承详解
Apr 07 Javascript
onmouseover事件和onmouseout事件全面理解
Aug 15 Javascript
JS焦点图,JS 多个页面放多个焦点图的实例
Dec 08 Javascript
Angularjs分页查询的实现
Feb 24 Javascript
利用js给datalist或select动态添加option选项的方法
Jan 25 Javascript
配置node服务器并且链接微信公众号接口配置步骤详解
Jun 21 Javascript
Vue通过getAction的finally来最大程度避免影响主数据呈现问题
Apr 24 Javascript
create-react-app开发常用配置教程
Jun 25 Javascript
VueAwesomeSwiper在VUE中的使用以及遇到的一些问题
Jan 11 #Javascript
angular2中Http请求原理与用法详解
Jan 11 #Javascript
基于node下的http小爬虫的示例代码
Jan 11 #Javascript
JS脚本实现网页自动秒杀点击
Jan 11 #Javascript
Javascript网页抢红包外挂实现分享
Jan 11 #Javascript
JS写谷歌浏览器chrome的外挂实例
Jan 11 #Javascript
React 高阶组件入门介绍
Jan 11 #Javascript
You might like
15个小时----从修改程序到自己些程序
2006/10/09 PHP
一个数据采集类
2007/02/14 PHP
php中几种常见安全设置详解
2010/04/06 PHP
PhpStorm2020.1 安装 debug - Postman 调用的详细教程
2020/08/17 PHP
javaScript对象和属性的创建方法
2007/01/15 Javascript
极酷的javascirpt,让你随意编辑任何网页
2007/02/25 Javascript
jQuery 版元素拖拽原型代码
2011/04/25 Javascript
Javascript继承机制的设计思想分享
2011/08/28 Javascript
如何判断微信内置浏览器(通过User Agent实现)
2014/09/01 Javascript
流量统计器如何鉴别C#:WebBrowser中伪造referer
2015/01/07 Javascript
js点击选择文本的方法
2015/02/09 Javascript
纯javascript实现四方向文本无缝滚动效果
2015/06/16 Javascript
avalon js实现仿微博拖动图片排序
2015/08/14 Javascript
详解JavaScript的表达式与运算符
2015/11/30 Javascript
JS出现失效的情况总结
2017/01/20 Javascript
JS运动特效之同时运动实现方法分析
2018/01/24 Javascript
JavaScript使用setTimeout实现倒计时效果
2021/02/19 Javascript
python通过socket查询whois的方法
2015/07/18 Python
Python简单定义与使用字典dict的方法示例
2017/07/25 Python
关于Django外键赋值问题详解
2017/08/13 Python
tensorflow多维张量计算实例
2020/02/11 Python
什么是python的id函数
2020/06/11 Python
施华洛世奇澳大利亚官网:SWAROVSKI澳大利亚
2017/01/06 全球购物
销售行业个人求职自荐信
2013/09/25 职场文书
大一自我鉴定范文
2013/10/04 职场文书
英语系本科生求职信范文
2013/12/18 职场文书
大学生求职信范文应怎么写
2014/01/01 职场文书
大学生校园创业计划书
2014/02/08 职场文书
人力资源主管的岗位职责
2014/03/15 职场文书
机关出纳岗位职责
2014/04/03 职场文书
工作失误检讨书
2015/01/26 职场文书
大学生求职简历自我评价
2015/03/02 职场文书
初中教师德育工作总结2015
2015/05/12 职场文书
2015年教师党员个人总结
2015/11/24 职场文书
2019新员工心得体会
2019/06/25 职场文书
导游词之山西祁县乔家大院
2019/10/14 职场文书