浅谈Node.js爬虫之网页请求模块


Posted in Javascript onJanuary 11, 2018

本文介绍了Node.js爬虫之网页请求模块,分享给大家,具体如下:

注:如您下载最新的nodegrass版本,由于部分方法已经更新,本文的例子已经不再适应,详细请查看开源地址中的例子。

一、为什么我要写这样一个模块?

源于笔者想使用Node.js写一个爬虫,虽然Node.js官方API提供的请求远程资源的方法已经非常简便,具体参考

http://nodejs.org/api/http.html 其中对于Http的请求提供了,http.get(options, callback)和http.request(options, callback)两个方法,

看方法便知,get方法用于get方式的请求,而request方法提供更多的参数,例如其它请求方式,请求主机的端口等等。对于Https的请求于Http类似。一个最简单的例子:

var https = require('https');
https.get('https://encrypted.google.com/', function(res) {
 console.log("statusCode: ", res.statusCode);
 console.log("headers: ", res.headers);

 res.on('data', function(d) {
  process.stdout.write(d);
 });

}).on('error', function(e) {
 console.error(e);
});

对于以上代码,我们无非就是想请求远程主机,得到响应信息,例如响应状态,响应头,响应主体内容。其中get方法的第二个参数是一个回调函数,我们异步的获取响应信息,然后,在该回调函数中,res对象又监听data,on方法中第二个参数又是一个回调,而你得到d(你请求到的响应信息)后,很可能在对它进行操作的时候再次引入回调,一层层下去,最后就晕了。。。对于异步方式的编程,对于一些习惯同步方式写代码的同学是非常纠结的,当然国内外已经对此提供了一些非常优秀的同步类库,例如老赵的Wind.js......好像有点扯远了。其实,我们调用get最终要得到的无非就是响应信息,而不关心res.on这样的监听过程,因为太懒惰。不想每次都res.on('data',func),于是诞生了今天我要介绍的nodegrass。

二、nodegrass请求资源,像Jquery的$.get(url,func)

一个最简单的例子:

var nodegrass = require('nodegrass');
nodegrass.get("http://www.baidu.com",function(data,status,headers){
  console.log(status);
  console.log(headers);
  console.log(data);
},'gbk').on('error', function(e) {
  console.log("Got error: " + e.message);
});

咋一看,和官方原来的get没啥区别,确实差不多=。=!只不过少了一层res.on('data',func)的事件监听回调而已。不管你信不信,反正我看上去感觉舒服多了,第二个参数同样是一个回调函数,其中的参数data是响应主体内容,status是响应状态,headers是响应头。得到响应内容,我们就可以对得到的资源提取任何我们感兴趣的信息啦。当然这个例子中,只是简单的打印的控制台而已。第三个参数是字符编码,目前Node.js不支持gbk,这里nodegrass内部引用了iconv-lite进行了处理,所以,如果你请求的网页编码是gbk的,例如百度。只需加上这个参数就行了。

那么对于https的请求呢?如果是官方api,你得引入https模块,但是请求的get方法等和http类似,于是nodegrass顺便把他们整合在一块了。看例子:

var nodegrass = require('nodegrass');
nodegrass.get("https://github.com",function(data,status,headers){
  console.log(status);
  console.log(headers);
  console.log(data);
},'utf8').on('error', function(e) {
  console.log("Got error: " + e.message);
});

nodegrass会根据url自动识别是http还是https,当然你的url必须得有,不能只写www.baidu.com/而需要http://www.baidu.com/。

对于post的请求,nodegrass提供了post方法,看例子:

var ng=require('nodegrass');
ng.post("https://api.weibo.com/oauth2/access_token",function(data,status,headers){
  var accessToken = JSON.parse(data);
  var err = null;
  if(accessToken.error){
     err = accessToken;
  }
  callback(err,accessToken);
  },headers,options,'utf8');

以上是新浪微博Auth2.0请求accessToken的一部分,其中使用nodegrass的post请求access_token的api。

post方法相比get方法多提供了headers请求头参数,options--post的数据,它们都是对象字面量的类型:

var headers = {
    'Content-Type': 'application/x-www-form-urlencoded',
    'Content-Length':data.length
  };

var options = {
       client_id : 'id',
     client_secret : 'cs',
     grant_type : 'authorization_code',
     redirect_uri : 'your callback url',
     code: acode
  };

三、利用nodegrass做代理服务器?……**

看例子:

var ng = require('nodegrass'),
   http=require('http'),
   url=require('url');

   http.createServer(function(req,res){
    var pathname = url.parse(req.url).pathname;
    
    if(pathname === '/'){
      ng.get('http://www.cnblogs.com/',function(data){
        res.writeHeader(200,{'Content-Type':'text/html;charset=utf-8'});
        res.write(data+"\n");
        res.end();
        },'utf8');
      }
   }).listen(8088);
   console.log('server listening 8088...');

就这么简单,当然代理服务器还有复杂的多,这个不算是,但至少你访问本地8088端口,看到的是不是博客园的页面呢?

nodegrass的开源地址:https://github.com/scottkiss/nodegrass

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Javascript 相关文章推荐
flexigrid 参数说明
Nov 23 Javascript
jquery遍历筛选数组的几种方法和遍历解析json对象
Dec 13 Javascript
js中AppendChild与insertBefore的用法详细解析
Dec 16 Javascript
JavaScript基础语法、dom操作树及document对象
Dec 02 Javascript
js简单实现Select互换数据的方法
Aug 17 Javascript
Extjs让combobox写起来简洁又漂亮
Jan 05 Javascript
JavaScript使用简单正则表达式的数据验证功能示例
Jan 13 Javascript
微信小程序 跳转方式总结
Apr 20 Javascript
浅谈JS封闭函数、闭包、内置对象
Jul 18 Javascript
vue.js中toast用法及使用toast弹框的实例代码
Aug 27 Javascript
解决vue项目input输入框双向绑定数据不实时生效问题
Aug 05 Javascript
jQuery treeview树形结构应用
Mar 24 jQuery
VueAwesomeSwiper在VUE中的使用以及遇到的一些问题
Jan 11 #Javascript
angular2中Http请求原理与用法详解
Jan 11 #Javascript
基于node下的http小爬虫的示例代码
Jan 11 #Javascript
JS脚本实现网页自动秒杀点击
Jan 11 #Javascript
Javascript网页抢红包外挂实现分享
Jan 11 #Javascript
JS写谷歌浏览器chrome的外挂实例
Jan 11 #Javascript
React 高阶组件入门介绍
Jan 11 #Javascript
You might like
PHP写MySQL数据 实现代码
2009/06/15 PHP
用php实现让页面只能被百度gogole蜘蛛访问的方法
2009/12/29 PHP
PHP基于数组实现的分页函数实例
2014/08/20 PHP
editable.js 基于jquery的表格的编辑插件
2011/10/24 Javascript
根据IP的地址,区分不同的地区,查看不同的网站页面的js代码
2013/02/26 Javascript
鼠标移动到图片名上,显示图片的简单实例
2013/07/14 Javascript
jQuery Uploadify 上传插件出现Http Error 302 错误的解决办法
2015/12/12 Javascript
初探nodeJS
2017/01/24 NodeJs
JavaScript 保护变量不被随意修改的实现代码
2017/09/27 Javascript
Angular整合zTree的示例代码
2018/01/24 Javascript
webpack 样式加载的实现原理
2018/06/12 Javascript
小程序实现选择题选择效果
2018/11/04 Javascript
详解JWT token心得与使用实例
2019/08/02 Javascript
javascript中闭包closure的深入讲解
2021/03/03 Javascript
[08:40]Navi Vs Newbee
2018/06/07 DOTA
Python实现快速排序和插入排序算法及自定义排序的示例
2016/02/16 Python
pandas apply 函数 实现多进程的示例讲解
2018/04/20 Python
详解Python最长公共子串和最长公共子序列的实现
2018/07/07 Python
Python绘制堆叠柱状图的实例
2019/07/09 Python
画pytorch模型图,以及参数计算的方法
2019/08/17 Python
python turtle 绘制太极图的实例
2019/12/18 Python
Python编程快速上手——strip()函数的正则表达式实现方法分析
2020/02/29 Python
基于python实现检索标记敏感词并输出
2020/05/07 Python
浅谈Python 钉钉报警必备知识系统讲解
2020/08/17 Python
澳大利亚最大的女装零售商:Millers
2017/09/10 全球购物
保安自我鉴定范文
2013/12/08 职场文书
酒吧总经理岗位职责
2013/12/10 职场文书
园林技术个人的自我评价
2014/01/08 职场文书
厨房管理计划书
2014/04/27 职场文书
求职信范文大全
2014/05/26 职场文书
教师四风对照检查材料思想汇报
2014/09/17 职场文书
2014年人力资源工作总结
2014/11/19 职场文书
2015学校图书管理员工作总结
2015/05/11 职场文书
土木工程生产实习心得体会
2016/01/22 职场文书
python绘图subplots函数使用模板的示例代码
2021/04/30 Python
Java中的Kotlin 内部类原理
2022/06/16 Java/Android