python爬虫神器Pyppeteer入门及使用


Posted in Python onJuly 13, 2019

前言

提起selenium想必大家都不陌生,作为一款知名的Web自动化测试框架,selenium支持多款主流浏览器,提供了功能丰富的API接口,经常被我们用作爬虫工具来使用。但是selenium的缺点也很明显,比如速度太慢、对版本配置要求严苛,最麻烦是经常要更新对应的驱动。

今天就给大家介绍另一款web自动化测试工具Pyppeteer,虽然支持的浏览器比较单一,但在安装配置的便利性和运行效率方面都要远胜selenium。

01.Pyppeteer简介

介绍Pyppeteer之前先说一下Puppeteer,Puppeteer是谷歌出品的一款基于Node.js开发的一款工具,主要是用来操纵Chrome浏览器的 API,通过Javascript代码来操纵Chrome浏览器,完成数据爬取、Web程序自动测试等任务。

Pyppeteer其实是Puppeteer的Python版本,下面简单介绍下Pyppeteer的两大特点,chromium浏览器和asyncio框架:

1).chromium

Chromium是一款独立的浏览器,是Google为发展自家的浏览器Google Chrome而开启的计划,相当于Chrome的实验版,Chromium的稳定性不如Chrome但是功能更加丰富,而且更新速度很快,通常每隔数小时就有新的开发版本发布。

Pyppeteer的web自动化是基于chromium来实现的,由于chromium中某些特性的关系,Pyppeteer的安装配置非常简单,关于这一点稍后我们会详细介绍。

2).asyncio

asyncio是Python的一个异步协程库,自3.4版本引入的标准库,直接内置了对异步IO的支持,号称是Python最有野心的库,官网上有非常详细的介绍:

python爬虫神器Pyppeteer入门及使用

02.安装与使用

1).极简安装

使用pip install pyppeteer命令就能完成pyppeteer库的安装,至于chromium浏览器,只需要一条pyppeteer-install命令就会自动下载对应的最新版本chromium浏览器到pyppeteer的默认位置。

如果不运行pyppeteer-install命令,在第一次使用pyppeteer的时候也会自动下载并安装chromium浏览器,效果是一样的。总的来说,pyppeteer比起selenium省去了driver配置的环节。

当然,出于某种原因,也可能会出现chromium自动安装无法顺利完成的情况,这时可以考虑手动安装:首先,从下列网址中找到自己系统的对应版本,下载chromium压缩包;

  • 'linux': 'https://storage.googleapis.com/chromium-browser-snapshots/Linux_x64/575458/chrome-linux.zip'
  • 'mac': 'https://storage.googleapis.com/chromium-browser-snapshots/Mac/575458/chrome-mac.zip'
  • 'win32': 'https://storage.googleapis.com/chromium-browser-snapshots/Win/575458/chrome-win32.zip'
  • 'win64': 'https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/575458/chrome-win32.zip'

然后,将压缩包放到pyppeteer的指定目录下解压缩,windows系统的默认目录。其他系统下的默认目录可以参照下面这幅图:

python爬虫神器Pyppeteer入门及使用

2).使用

安装完后就来试试效果。一起来看下面这段代码,在main函数中,先是建立一个浏览器对象,然后打开新的标签页,访问百度主页,对当前页面截图并保存为“example.png”,最后关闭浏览器。前文也提到过,pyppeteer是基于asyncio构建的,所以在使用的时候需要用到async/await结构。

python爬虫神器Pyppeteer入门及使用

运行上面这段代码会发现并没有浏览器弹出运行,这是因为Pyppeteer默认使用的是无头浏览器,如果想要浏览器显示,需要在launch函数中设置参数“headless =False”,程序运行结束后在同一目录下会出现截取到的网页图片:

python爬虫神器Pyppeteer入门及使用

03.实战异步基金爬取

我们前面一直在说Pyppeteer是一款非常高效的web自动化测试工具,其本质原因是由于Pyppeteer是基于asyncio构建的,它的所有属性和方法几乎都是coroutine对象,因此在构建异步程序的时候非常方便,天生就支持异步运行。

下面就来对比顺序执行和异步运行的效率究竟如何:

1).基金爬取

我们把天天基金网中的开放式基金净值数据爬取作为本次的实验任务,下面这张图是一支基金的历史净值数据,这个页面是js加载的,没办法通过requests直接获取内容信息,因此可以考虑使用模拟浏览器操作的方式进行数据抓取。(事实上基金净值数据的获取是有API接口的,本次任务只是为了演示,不具备实用价值)

python爬虫神器Pyppeteer入门及使用

为了使效果更加明显,我们此次爬取基金列表页(下图)前50支基金的近20个交易日的净值数据。

python爬虫神器Pyppeteer入门及使用

2).顺序执行

程序构建的基本思路是新建一个browser浏览器和一个页面page,依次访问每个基金的净值数据页面并爬取数据。核心代码如下:

python爬虫神器Pyppeteer入门及使用

代码中的get_data()函数用于净值数据页面解析和数据的转化,get_all_codes()函数用于获取全部开放式基金的基金代码(共6000余个)。虽然程序也使用了async/await的结构,但是对多个基金的净值数据获取都是在callurl_and_getdata()函数中顺序执行的,之所以这样写是因为pyppeteer中的方法都是coroutine对象,必须以这种形式构建程序。

为了排除打开浏览器的耗时干扰,我们仅统计访问页面和数据抓取的用时,其结果为:12.08秒。

3).异步执行

下面我们把程序改造一下,功能函数都不变,主要是把对fundlist的循环运行改装成async的task对象。核心代码如下:

python爬虫神器Pyppeteer入门及使用

耗时的统计区间仍然从浏览器打开后开始计算,其运行用时为:2.18秒,相比顺序执行要快了6倍。可以想象,如果需要爬取的工作量比较大,顺序执行需要10个小时的话,异步执行可能只需要不到2个小时,优化效果可谓非常明显了。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中as用法实例分析
Apr 30 Python
实例解析Python的Twisted框架中Deferred对象的用法
May 25 Python
python requests 使用快速入门
Aug 31 Python
tensorflow 1.0用CNN进行图像分类
Apr 15 Python
基于MTCNN/TensorFlow实现人脸检测
May 24 Python
Django实现学生管理系统
Feb 26 Python
如何用Python来搭建一个简单的推荐系统
Aug 07 Python
Python英文文章词频统计(14份剑桥真题词频统计)
Oct 13 Python
Python多重继承之菱形继承的实例详解
Feb 12 Python
Python爬虫实现vip电影下载的示例代码
Apr 20 Python
python分布式爬虫中消息队列知识点详解
Nov 26 Python
Python自然语言处理之切分算法详解
Apr 25 Python
Python 分享10个PyCharm技巧
Jul 13 #Python
简单了解Python3里的一些新特性
Jul 13 #Python
python将类似json的数据存储到MySQL中的实例
Jul 12 #Python
Django对数据库进行添加与更新的例子
Jul 12 #Python
Python 绘制酷炫的三维图步骤详解
Jul 12 #Python
Django 接收Post请求数据,并保存到数据库的实现方法
Jul 12 #Python
python实现简单聊天室功能 可以私聊
Jul 12 #Python
You might like
php中防止恶意刷新页面的代码小结
2012/10/31 PHP
php的ajax简单实例
2014/02/27 PHP
php数组删除元素示例
2014/03/21 PHP
Thinkphp中Create方法深入探究
2014/06/16 PHP
从零开始学YII2框架(三)扩展插件yii2-gird
2014/08/20 PHP
php过滤表单提交的html等危险代码
2014/11/03 PHP
PHP.ini安全配置检测工具pcc简单介绍
2015/07/02 PHP
实例说明js脚本语言和php脚本语言的区别
2019/04/04 PHP
js过滤数组重复元素的方法
2010/09/05 Javascript
JavaScript按位运算符的应用简析
2014/02/04 Javascript
基于jQuery全屏焦点图左右切换插件responsiveslides
2015/09/07 Javascript
高效利用Angular中内置服务$http、$location等
2016/03/22 Javascript
Atitit.js的键盘按键事件捆绑and事件调度
2016/04/01 Javascript
JS实现回到页面顶部动画效果的简单实例
2016/05/24 Javascript
jQuery+ajax实现实用的点赞插件代码
2016/07/06 Javascript
JavaScript动态添加css样式和script标签
2016/07/19 Javascript
浅谈键盘上回车按钮的js触发事件
2017/02/13 Javascript
Angular resolve基础用法详解
2018/10/03 Javascript
JS实现的排列组合算法示例
2019/07/16 Javascript
vue实现滑动到底部加载更多效果
2020/10/27 Javascript
Vue.js组件props数据验证实现详解
2019/10/19 Javascript
玩转python爬虫之正则表达式
2016/02/17 Python
pandas.dataframe按行索引表达式选取方法
2018/10/30 Python
解决redis与Python交互取出来的是bytes类型的问题
2020/07/16 Python
几款Python编译器比较与推荐(小结)
2020/10/15 Python
pandas数据分组groupby()和统计函数agg()的使用
2021/03/04 Python
世界上最大的街头服饰网站:Karmaloop
2017/02/04 全球购物
Ajax主要包含了哪些技术
2014/06/12 面试题
讲解员培训方案
2014/05/04 职场文书
孩子教育的心得体会
2014/09/01 职场文书
党委书记个人对照检查材料
2014/09/15 职场文书
社区领导班子四风问题原因分析及整改措施
2014/09/28 职场文书
车位出租协议书范本
2016/03/19 职场文书
导游词之崇武古城
2019/10/07 职场文书
python实现网络五子棋
2021/04/11 Python
springboot应用服务启动事件的监听实现
2022/04/06 Java/Android