如何用Node写页面爬虫的工具集


Posted in Javascript onOctober 26, 2018

最近做了几个写爬虫的小项目(从页面端到APP端的都有),在网上搜寻了一番好用的爬虫工具,做了个工具集整理:

Puppeteer

简介

Puppeteer 是一个Node库,它提供了一个高级 API 来通过 DevTools协议控制Chromium或Chrome。简单点说,就是使用Node命令控制一个无需渲染至用户界面的浏览器。

与使用 PhantomJS 搭配 Python 进行爬虫抓取类似,其原理也是去完全地模拟一个浏览器进行页面的渲染,从而抓取其中某些特定的内容。

特性

Puppeteer 可以完整地模拟一个浏览器的行为,并且可以进行截图、拦截浏览器请求、获取Cookie、通过Node注入JS代码等操作,使用Chrome浏览器开发者工具能做到的,Puppeteer也能做到。

使用起来也十分的简单,以下是官方的例子:

const puppeteer = require('puppeteer');

(async () => {
 const browser = await puppeteer.launch();
 const page = await browser.newPage();
 await page.goto('https://example.com');
 await page.screenshot({path: 'example.png'});

 await browser.close();
})();

在GitHub上放了一份自己写的使用Puppeteer获取微博cookie的代码,欢迎查看:

https://github.com/SP-Lyu/puppeteer_weibo_cookie/blob/master/index.js

由于 Puppeteer 基于Chromium,每次都需要载入页面再进行页面分析,性能十分有限,下面提到的 cheerio 则可以从另一层面解决这个问题。

文档

GitHub 

中文API地址

cheerio

cheerio 是一个轻型灵活,类jQuery的对HTML元素分析操作的工具。在进行一些server端渲染的页面以及一些简单的小页面的爬取时, cheerio 十分好用且高效。

特性

cheerio 包括了jQuery的核心子集,意味着可以直接使用jQuery的API进行元素的操控,官方的例子:

const cheerio = require('cheerio')
const $ = cheerio.load('<h2 class="title">Hello world</h2>')

$('h2.title').text('Hello there!')
$('h2').addClass('welcome')

$.html()
//=> <h2 class="title welcome">Hello there!</h2>

自己写的获取某个网站的所有a链接:

const cheerio = require('cheerio');
const get = function(){/*HTTP get请求...*/}
(async ()=>{
 const html = await get(`http://example.com`);
 const $ = cheerio.load(html);
 const $dom_arr = $('a');
 $dom_arr.each((index, elem)=>{
  const url = $(elem).attr('href') || '';
  console.log(url);
 });
})();

文档

GitHub

Auto.js

国人开发的,使用js编写代码操作Android设备的自动化工具,对于爬取某些加固措施较好的APP来说十分有用,而且有非常完善的文档以及社区,十分良心。

使用Auto.js进行设备自动化操作,再通过代理进行请求数据的获取,能绕开加固中难以破解的加密串。

特性

作为爬虫工具,好处有:

  1. 采用JavaScript作为脚本语言开发,JS开发者0成本接入;
  2. 兼容性良好,大多数任务不需要root权限;
  3. 自带界面分析工具,方便定位需要操作的元素。

从Auto.js载入某个APP,并点击进入某个频道的例子:

// 声明环境
auto();
// 设备常亮
device.keepScreenDim();
// 调起APP
launchApp('头条');
sleep(10000);
// 找到某个频道,并点击进入
var rect = text('视频').findOnce().bounds();
var x = rect.centerX();
var y = rect.centerY();
click(x, y);
// 点击进入详情,使用代理抓取并处理请求...
...

文档

GitHub
中文文档
社区

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Javascript 相关文章推荐
js中判断数字\字母\中文的正则表达式 (实例)
Jun 29 Javascript
javascript计时器详解
Feb 28 Javascript
jquery实现简单的无缝滚动
Apr 15 Javascript
jQuery验证插件validation使用指南
Apr 21 Javascript
AngularJS 视图详解及示例代码
Aug 17 Javascript
详解vue-cli开发环境跨域问题解决方案
Jun 06 Javascript
详解Vue如何支持JSX语法
Nov 10 Javascript
基于$.ajax()方法从服务器获取json数据的几种方式总结
Jan 31 Javascript
关于Angularjs中自定义指令一些有价值的细节和技巧小结
Apr 22 Javascript
layer.close()关闭进度条和Iframe窗的方法
Aug 17 Javascript
微信小程序实现预览图片功能
Oct 22 Javascript
Vue中的情侣属性$dispatch和$broadcast详解
Mar 07 Javascript
Javascript中绑定click事件的四种方式介绍
Oct 26 #Javascript
使用webpack打包后的vue项目如何正确运行(express)
Oct 26 #Javascript
jQuery Ajax实现Select多级关联动态绑定数据的实例代码
Oct 26 #jQuery
详解ES6 系列之异步处理实战
Oct 26 #Javascript
element-ui 的el-button组件中添加自定义颜色和图标的实现方法
Oct 26 #Javascript
angularjs通过过滤器返回超链接的方法
Oct 26 #Javascript
js使用formData实现批量上传
Mar 27 #Javascript
You might like
简单介绍下 PHP5 中引入的 MYSQLI的用途
2007/03/19 PHP
php include,include_once,require,require_once
2008/09/05 PHP
php 修改zen-cart下单和付款流程以防止漏单
2010/03/08 PHP
使用PHP会话(Session)实现用户登陆功能
2013/06/29 PHP
PHP函数strip_tags的一个bug浅析
2014/05/22 PHP
php实现删除指定目录下相关文件的方法
2014/10/20 PHP
php开发中的页面跳转方法总结
2015/04/26 PHP
PHP实现基于回溯法求解迷宫问题的方法详解
2017/08/17 PHP
PHP的Trait机制原理与用法分析
2019/10/18 PHP
Jquery Select操作方法集合脚本之家特别版
2010/05/17 Javascript
JS实现日期加减的方法
2013/11/29 Javascript
手机平板等移动端适配跳转URL的js代码
2014/01/25 Javascript
javascript将相对路径转绝对路径示例
2014/03/14 Javascript
jQuery插件分享之分页插件jqPagination
2014/06/06 Javascript
javascript实现iframe框架延时加载的方法
2014/10/30 Javascript
javascript实现checkBox的全选,反选与赋值
2015/03/12 Javascript
JS实现1000以内被3或5整除的数字之和
2016/02/18 Javascript
使用Node.js给图片加水印的方法
2016/11/15 Javascript
jQuery validata插件实现方法
2017/06/25 jQuery
vue框架下部署上线后刷新报404问题的解决方案(推荐)
2019/04/03 Javascript
vue 取出v-for循环中的index值实例
2019/11/09 Javascript
图解JS原型和原型链实现原理
2020/09/15 Javascript
Python实现的概率分布运算操作示例
2017/08/14 Python
Python 实现递归法解决迷宫问题的示例代码
2020/01/12 Python
python实现一个猜拳游戏
2020/04/05 Python
在Keras中实现保存和加载权重及模型结构
2020/06/15 Python
详解python3 GUI刷屏器(附源码)
2021/02/18 Python
学校校庆演讲稿
2014/05/22 职场文书
标准版离职证明书
2014/09/12 职场文书
我与祖国共奋进演讲稿
2014/09/13 职场文书
校园游戏活动新闻稿
2014/10/15 职场文书
拖欠货款起诉状
2015/05/20 职场文书
pygame面向对象的飞行小鸟实现(Flappy bird)
2021/04/01 Python
详解CSS不受控制的position fixed
2021/05/25 HTML / CSS
日元符号 ¥
2022/02/17 杂记
浅谈为什么我的 z-index 又不生效了
2022/07/15 HTML / CSS