Puppeteer环境搭建的详细步骤


Posted in Javascript onSeptember 21, 2018

简介

Puppeteer是Google开发并开源的一款工具,可用代码驱动浏览器操作。

由于诸多优秀的特性,Puppeteer常被用在爬虫与自动化测试上。详细介绍参见官方 README 。

Puppeteer本身是个NodeJS的库,自动化脚本也需要使用NodeJS编写,如果对JS不了解建议先学习JavaScript基础语法,或者使用Selenium等其他工具去实现。

对于一个陌生的工具,应当先检查是否适合自己,再去尝试使用,切莫盲目从众。

Puppeteer 用处

  • 利用网页生成PDF、图片
  • 爬取SPA应用,并生成预渲染内容(即“SSR” 服务端渲染)
  • 可以从网站抓取内容
  • 自动化表单提交、UI测试、键盘输入等
  • 帮你创建一个最新的自动化测试环境(chrome),可以直接在此运行测试用例6.捕获站点的时间线,以便追踪你的网站,帮助分析网站性能问题

配置

Node环境配置

下载并安装NodeJS:

wget https://nodejs.org/dist/v8.12.0/node-v8.12.0-linux-x64.tar.xz
tar xf node-v8.12.0-linux-x64.tar.xz
mv node-v8.12.0-linux-x64 /usr/local/lib
ln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/npm /usr/local/bin/
ln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/node /usr/local/bin/

*(可选)配置淘宝的源,加速npm包的下载:

npm config set registry https://registry.npm.taobao.org

安装Puppeteer

配置淘宝的Puppeteer下载源,用于安装Chromium:

export PUPPETEER_DOWNLOAD_HOST=https://storage.googleapis.com.cnpmjs.org
npm i puppeteer

国内不配置时会在卡在下载Chromium

示例

新建一个test.js

const puppeteer = require('puppeteer');

(async () => {
 const browser = await puppeteer.launch({
  ignoreHTTPSErrors: true,
  headless: false,
  args: ['--no-sandbox']
 });
 const page = await browser.newPage();
 await page.goto('https://intest.tech');
 await page.waitFor(5e3);
 await browser.close();
})();

运行:

node test.js

截图

知识点

  • puppeteer.launch 启动浏览器实例
  • browser.newPage() 创建一个新页面
  • page.goto 进入指定网页
  • page.screenshot 截图
const puppeteer = require('puppeteer');

(async () => {
const browser = await (puppeteer.launch({
// 若是手动下载的chromium需要指定chromium地址, 默认引用地址为 /项目目录/node_modules/puppeteer/.local-chromium/
executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium',
//设置超时时间
timeout: 15000,
//如果是访问https页面 此属性会忽略https错误
ignoreHTTPSErrors: true,
// 打开开发者工具, 当此值为true时, headless总为false
devtools: false,
// 关闭headless模式, 会打开浏览器
headless: false
}));
const page = await browser.newPage();
await page.goto('https://www.jianshu.com/u/40909ea33e50');
await page.screenshot({
path: 'jianshu.png',
type: 'png',
// quality: 100, 只对jpg有效
fullPage: true,
// 指定区域截图,clip和fullPage两者只能设置一个
// clip: {
// x: 0,
// y: 0,
// width: 1000,
// height: 40
// }
});
browser.close();
})();

进阶,获取网易云音乐的歌词和评论

网易云音乐的API经过AES和RSA算法加密,需要携带加密的信息通过POST方式请求才能获取到数据。但 Puppeteer 出现后,这些都不重要了,只要它页面上显示了,通过 Puppeteer 都能获取到该元素。

知识点

  • page.type 获取输入框焦点并输入文字
  • page.keyboard.press 模拟键盘按下某个按键,目前mac上组合键无效为已知bug
  • page.waitFor 页面等待,可以是时间、某个元素、某个函数
  • page.frames() 获取当前页面所有的 iframe,然后根据 iframe 的名字精确获取某个想要的 iframe
  • iframe.$('.srchsongst') 获取 iframe 中的某个元素
  • iframe.evaluate() 在浏览器中执行函数,相当于在控制台中执行函数,返回一个 Promise
  • Array.from 将类数组对象转化为对象
  • page.click() 点击一个元素
  • iframe.$eval() 相当于在 iframe 中运行 document.queryselector 获取指定元素,并将其作为第一个参数传递
  • iframe.$$eval 相当于在 iframe 中运行 document.querySelectorAll 获取指定元素数组,并将其作为第一个参数传递
const fs = require('fs');
const puppeteer = require('puppeteer');

(async () => {
const browser = await (puppeteer.launch({ executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium', headless: false }));
const page = await browser.newPage();
// 进入页面
await page.goto('https://music.163.com/#');

// 点击搜索框拟人输入 鬼才会想起
const musicName = '鬼才会想';
await page.type('.txt.j-flag', musicName, {delay: 0});

// 回车
await page.keyboard.press('Enter');

// 获取歌曲列表的 iframe
await page.waitFor(2000);
let iframe = await page.frames().find(f => f.name() === 'contentFrame');
const SONG_LS_SELECTOR = await iframe.$('.srchsongst');

// 获取歌曲 鬼才会想起 的地址
const selectedSongHref = await iframe.evaluate(e => {
const songList = Array.from(e.childNodes);
const idx = songList.findIndex(v => v.childNodes[1].innerText.replace(/\s/g, '') === '鬼才会想起');
return songList[idx].childNodes[1].firstChild.firstChild.firstChild.href;
}, SONG_LS_SELECTOR);

// 进入歌曲页面
await page.goto(selectedSongHref);

// 获取歌曲页面嵌套的 iframe
await page.waitFor(2000);
iframe = await page.frames().find(f => f.name() === 'contentFrame');

// 点击 展开按钮
const unfoldButton = await iframe.$('#flag_ctrl');
await unfoldButton.click();

// 获取歌词
const LYRIC_SELECTOR = await iframe.$('#lyric-content');
const lyricCtn = await iframe.evaluate(e => {
return e.innerText;
}, LYRIC_SELECTOR);

console.log(lyricCtn);

// 截图
await page.screenshot({
path: '歌曲.png',
fullPage: true,
});

// 写入文件
let writerStream = fs.createWriteStream('歌词.txt');
writerStream.write(lyricCtn, 'UTF8');
writerStream.end();

// 获取评论数量
const commentCount = await iframe.$eval('.sub.s-fc3', e => e.innerText);
console.log(commentCount);

// 获取评论
const commentList = await iframe.$$eval('.itm', elements => {
const ctn = elements.map(v => {
return v.innerText.replace(/\s/g, '');
});
return ctn;
});
console.log(commentList);
})();

参考

https://github.com/cnpm/cnpmjs.org/issues/1246#issuecomment-341631992

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Javascript 相关文章推荐
jQuery 表格工具集
Apr 25 Javascript
快速排序 php与javascript的不同之处
Feb 22 Javascript
jQuery EasyUI API 中文文档 - Parser 解析器
Sep 29 Javascript
window.location.reload()方法刷新页面弹出要再次显示该网页对话框
Apr 24 Javascript
jquery实现全选、反选、获得所有选中的checkbox
Sep 13 Javascript
学习AngularJs:Directive指令用法(完整版)
Apr 26 Javascript
JS数组返回去重后数据的方法解析
Jan 03 Javascript
js实现导航栏中英文切换效果
Jan 16 Javascript
Echarts基本用法_动力节点Java学院整理
Aug 11 Javascript
微信小程序实现通过js操作wxml的wxss属性示例
Dec 06 Javascript
javascript浅层克隆、深度克隆对比及实例解析
Feb 09 Javascript
javascript 模块依赖管理的本质深入详解
Apr 30 Javascript
jQuery序列化form表单数据为JSON对象的实现方法
Sep 20 #jQuery
JavaScript 高性能数组去重的方法
Sep 20 #Javascript
vue2 设置router-view默认路径的实例
Sep 20 #Javascript
vue实现同一个页面可以有多个router-view的方法
Sep 20 #Javascript
vuejs router history 配置到iis的方法
Sep 20 #Javascript
关于单文件组件.vue的使用
Sep 20 #Javascript
vue-cli 打包使用history模式的后端配置实例
Sep 20 #Javascript
You might like
2019十大人气国漫
2020/03/13 国漫
PHP自带函数给数字或字符串自动补齐位数
2014/07/29 PHP
PHP检测链接是否存在的代码实例分享
2016/05/06 PHP
PHP实现普通hash分布式算法简单示例
2018/08/06 PHP
PHP-FPM的配置与优化讲解
2019/03/15 PHP
Nigma vs Liquid BO3 第一场2.13
2021/03/10 DOTA
精心挑选的15款优秀jQuery 本特效插件和教程
2012/08/06 Javascript
jQuery筛选器children()案例详解(图文)
2013/02/17 Javascript
在Ubuntu上安装最新版本的Node.js
2014/07/14 Javascript
JS实现复制内容到剪贴板功能兼容所有浏览器(推荐)
2016/06/17 Javascript
checkbox批量选中,获取选中项的值的简单实例
2016/06/28 Javascript
jQuery.form.js插件不能解决连接超时(timeout)的原因分析及解决方法
2016/10/14 Javascript
AngularJS框架中的双向数据绑定机制详解【减少需要重复的开发代码量】
2017/01/19 Javascript
JavaScript实现区块链
2018/03/14 Javascript
JavaScript实现计算圆周率到小数点后100位的方法示例
2018/05/08 Javascript
vue使用el-upload上传文件及Feign服务间传递文件的方法
2019/03/15 Javascript
Python标准库06之子进程 (subprocess包) 详解
2016/12/07 Python
django自带的server 让外网主机访问方法
2018/05/14 Python
tensorflow更改变量的值实例
2018/07/30 Python
利用Python+阿里云实现DDNS动态域名解析的方法
2019/04/01 Python
PyQt编程之如何在屏幕中央显示窗体的实例
2019/06/18 Python
在python中将list分段并保存为array类型的方法
2019/07/15 Python
Python+Tensorflow+CNN实现车牌识别的示例代码
2019/10/11 Python
使用python+whoosh实现全文检索
2019/12/09 Python
Python figure参数及subplot子图绘制代码
2020/04/18 Python
scrapy爬虫:scrapy.FormRequest中formdata参数详解
2020/04/30 Python
python和c语言哪个更适合初学者
2020/06/22 Python
深入理解HTML5定时器requestAnimationFrame的使用
2018/12/12 HTML / CSS
欧尚俄罗斯网上超市:Auchan俄罗斯
2018/05/03 全球购物
linux面试题参考答案(5)
2016/11/05 面试题
审计局班子四风对照检查材料思想汇报
2014/10/07 职场文书
2016中考冲刺决心书
2015/09/22 职场文书
签证扫盲贴,41个常见签证知识,需要的拿走
2019/08/09 职场文书
浅析InnoDB索引结构
2021/04/05 MySQL
详解Laravel服务容器的优势
2021/05/29 PHP
python四个坐标点对图片区域最小外接矩形进行裁剪
2021/06/04 Python