Node.js实现的简易网页抓取功能示例


Posted in Javascript onDecember 05, 2014

现今,网页抓取已经是一种人所共知的技术了,然而依然存在着诸多复杂性, 简单的网页爬虫依然难以胜任Ajax轮训、XMLHttpRequest,WebSockets,Flash Sockets等各种复杂技术所开发出来的现代化网站。

我们以我们在Hubdoc这个项目上的基础需求为例,在这个项目中,我们从银行,公共事业和信用卡公司的网站上抓取帐单金额,到期日期,账户号码,以及最重要的:近期账单的pdf。对于这个项目,我一开始采用了很简单的方案(暂时并没有使用我们正在评估的昂贵的商业化产品)——我以前在MessageLab/Symantec使用Perl做过的一个简单的爬虫项目。但是结果很不顺利,垃圾邮件发送者所制作的网站要比银行和公共事业公司的网站简单的多得多。

那么如何解决这个问题呢?我们主要从使用Mikea开发的优秀 request库开始。在浏览器中发出请求,并在Network窗口中查看到底发送出去了什么请求头,然后把这些请求头拷贝到代码里。这个过程很简单。仅仅是跟踪从登陆开始,到下载Pdf文件结束的这个过程,然后模拟这个过程的所有的请求而已。为了使类似的事情处理起来变得容易,并且能让网络开发者们更加合理地写爬虫程序,我把从HTML上取到结果的方把导出到jQuery中(使用轻量级 cheerio库),这使得相似的工作变得简单,也使利用CSS选择子选取一个页面中的元素变得较为简单。整个过程被包装进一个框架,而这个框架也可以做额外的工作,例如从数据库中拾取证书,加载个体机器人,和UI通过socket.io沟通。

对于一些web站点来说这个是有效的,但这仅仅是JS脚本,而不是我那个被这些公司放在他们站点上的node.js的code。他们对遗留下来的问题,针对复杂性就行分层,使得你非常难去弄明白该做什么来得到登录的信息点。对于一些站点我尝试了几天通过与request()库结合来获取,但仍是徒然。

在几近崩溃后,我发现了node-phantomjs,这个库可以让我从node中控制phantomjs headless webkit浏览器(译者注:这个我没想到一个对应的名词,headless这里的意思是渲染页面在后台完成,无需显示设备)。这看起来是一种简单的解决方案,但是还有一些phantomjs无法回避的问题需要解决:

1.PhantomJS只能告诉你页面是否完成了加载,但是你无法确定这个过程中是否存在通过JavaScript或者meta标签实现的重定向(redirect)。特别是JavaScript使用setTimeout()来延迟调用的时候。

2.PhantomJS为你提供了一个页面加载开始(pageLoadStarted)的钩子,允许你处理上面提到的问题,但是这个机能只能在你确定要加载的页面数,在每个页面加载完成时减少这个数字,并且为可能的超时提供处理(因为这种事情并不总是会发生),这样当你的数字减少为0,就可以调用你的回调函数了。这种方式可以工作,但是总让人觉得有点像是黑客手段。

3.PhantomJS每抓取一个页面需要一个完整独立的进程,因为如果不这样,无法分离每个页面之间的cookies。如果你是用同一个phantomjs进程,已经登录的页面中的session会被发送到另一个页面中。

4.无法使用PhantomJS下载资源 - 你只能将页面保存为png或者pdf。这很有用,但是这意味着我们需要求助于request()来下载pdf。

5.由于上述的原因,我必须找到一个方法来将cookie从PhantomJS的session中分发到request()的session库中去。只需要将document.cookie的字符串分发过去,解析它,然后将其注入到request()的cookie jar中去。

6.将变量注入到浏览器session中并不是件容易的事情。要这么做我需要创建一个字符串来建立一个Javascript函数。

Robot.prototype.add_page_data = function (page, name, data) {

 page.evaluate(

 "function () { var " + name + " = window." + name + " = " + JSON.stringify(data) + "}"

 );

}

7.一些网站总是充斥着console.log()之类的代码,也需要将他们重新定义,输出到我们希望的位置。为了完成这个,我这么做:
if (!console.log) {

    var iframe = document.createElement("iframe");

    document.body.appendChild(iframe);

    console = window.frames[0].console;

}

8.一些网站总是充斥着console.log()之类的代码,也需要将他们重新定义,输出到我们希望的位置。为了完成这个,我这么做:

if (!console.log) {

    var iframe = document.createElement("iframe");

    document.body.appendChild(iframe);

    console = window.frames[0].console;

}

9.告诉浏览器我点击了a标签也是件很不容易的事情,为了完成这些事情,我加入了以下的代码:
var clickElement = window.clickElement = function (id){

    var a = document.getElementById(id);

    var e = document.createEvent("MouseEvents");

    e.initMouseEvent("click", true, true, window, 0, 0, 0, 0, 0, false, false, false, false, 0, null);

    a.dispatchEvent(e);

 };

10.我还需要限制浏览器session的最大并发量,从而保障我们不会爆掉服务器。虽然这么说,可是这个限制要比昂贵的商业解决方案所能提供的高很多。(译者注:即商业解决方案的并发量比这个解决方案大)

所有的工作结束后,我就有一个比较体面的 PhantomJS + request 的爬虫解决方案。必须使用 PhantomJS 登录后才可以返回去 request() 请求,它将使用在 PhantomJS 中设置的 Cookie 来验证登录的会话。这是一个巨大的胜利,因为我们可以使用 request() 的流来下载 pdf文件。

整个的计划就是为了让 Web 开发者相对容易的理解如何使用 jQuery 和 CSS 选择器来创建不同 Web 网站的爬虫,我还没有成功证明这个思路可行,但相信很快会了。

Javascript 相关文章推荐
Javascript Cookie读写删除操作的函数
Mar 02 Javascript
JS 非图片动态loading效果实现代码
Apr 09 Javascript
JavaScript Memoization 让函数也有记忆功能
Oct 27 Javascript
jQuery筛选器children()案例详解(图文)
Feb 17 Javascript
深入理解Java线程编程中的阻塞队列容器
Dec 07 Javascript
jQuery实现打开页面渐现效果示例
Jul 27 Javascript
react-native DatePicker日期选择组件的实现代码
Sep 12 Javascript
vue 自定义 select内置组件
Apr 10 Javascript
axios使用拦截器统一处理所有的http请求的方法
Nov 02 Javascript
微信小程序点击保存图片到本机功能
Dec 13 Javascript
完美解决通过IP地址访问VUE项目的问题
Jul 18 Javascript
原生JavaScript实现简单五子棋游戏
Jun 28 Javascript
浅谈js的setInterval事件
Dec 05 #Javascript
浅谈javascript中createElement事件
Dec 05 #Javascript
javascript的push使用指南
Dec 05 #Javascript
javascript结合ajax读取txt文件内容
Dec 05 #Javascript
javascript实现切换td中的值
Dec 05 #Javascript
使用Javascript简单实现图片无缝滚动
Dec 05 #Javascript
深入分析js的冒泡事件
Dec 05 #Javascript
You might like
虹吸式咖啡探讨–研磨
2021/03/03 冲泡冲煮
MySQL授权问题总结
2007/05/06 PHP
url decode problem 解决方法
2011/12/26 PHP
用PHP实现Ftp用户的在线管理
2012/02/16 PHP
PHP实现通过Luhn算法校验信用卡卡号是否有效
2015/03/23 PHP
php从数据库查询结果生成树形列表的方法
2015/04/17 PHP
php随机获取金山词霸每日一句的方法
2015/07/09 PHP
php之static静态属性与静态方法实例分析
2015/07/30 PHP
TP5框架使用QueryList采集框架爬小说操作示例
2020/03/26 PHP
JavaScript中String和StringBuffer的速度之争
2010/04/01 Javascript
TBCompressor js代码压缩
2011/01/05 Javascript
Js 获取Gridview选中行的内容操作步骤
2013/02/05 Javascript
node-webkit打包成exe文件被360误报木马的解决方法
2015/03/11 Javascript
JavaScript节点及列表操作实例小结
2015/08/05 Javascript
jQuery实现带幻灯的tab滑动切换风格菜单代码
2015/08/27 Javascript
jQuery实现导航滚动到指定内容效果完整实例【附demo源码下载】
2016/09/20 Javascript
Angular.js通过自定义指令directive实现滑块滑动效果
2017/10/13 Javascript
node使用Koa2搭建web项目的方法
2017/10/17 Javascript
如何配置vue.config.js 处理static文件夹下的静态文件
2020/06/19 Javascript
[03:51]吞吞映像 每周精彩击杀top10第二弹
2014/06/25 DOTA
[57:59]EG vs Secret 2018国际邀请赛淘汰赛BO3 第一场 8.22
2018/08/23 DOTA
python装饰器decorator介绍
2014/11/21 Python
详解详解Python中writelines()方法的使用
2015/05/25 Python
python基于pygame实现响应游戏中事件的方法(附源码)
2015/11/11 Python
Python开发的HTTP库requests详解
2017/08/29 Python
Python实现的银行系统模拟程序完整案例
2019/04/12 Python
Django配置MySQL数据库的完整步骤
2019/09/07 Python
python查看数据类型的方法
2019/10/12 Python
python实现图片二值化及灰度处理方式
2019/12/07 Python
window环境pip切换国内源(pip安装异常缓慢的问题)
2019/12/31 Python
在Pytorch中计算卷积方法的区别详解(conv2d的区别)
2020/01/03 Python
台湾全方位线上课程与职能学习平台:TibaMe
2019/12/04 全球购物
霸气队列口号
2014/06/18 职场文书
2014年最新党员对照检查材料汇总
2014/09/15 职场文书
2014年党员整改措施
2014/10/24 职场文书
毕业设计答辩开场白
2015/05/29 职场文书