详解pyppeteer(python版puppeteer)基本使用


Posted in Python onJune 12, 2019

一、前言

以前使用selenium的无头浏览器,自从phantomjs2016后慢慢不更新了之后,selenium也开始找下家,这时候谷歌的chrome率先搞出来无头浏览器并开放了各种api,随后firefox也开始做。

现在selenium的测试也都支持这两个浏览器的无头模式了,只需要在引入的时候配置一下就可以了。之所以要采用谷歌chrome官方无头框架puppeteer的python版本pyppeteer,是因为有些网页是可以检测到是否是使用了selenium。并且selenium所谓的保护机制不允许跨域cookies保存以及登录的时候必须先打开网页然后后加载cookies再刷新的方式很不友好。

二、pyppeteer

github地址:https://miyakogi.github.io/pyppeteer/

pyppeteer这个项目是非官方的,是基于谷歌官方puppeteer的python版本。

注意:本来chrome就问题多多,puppeteer也是各种坑,加上pyppeteer是基于前者的改编python版本,也就是产生了只要前两个有一个有bug,那么pyppeteer就会原封不动的继承下来,本来这没什么,但是现在遇到的问题就是pyppeteer这个项目从18年9月份之后就没更新过了,前两者都在不断的更新迭代,而pyppeteer一直不更新,导致很多bug根本没人修复。

遇到的错误:

1)pyppeteer.errors.NetworkError: Protocol error Network.getCookies: Target close
控制访问指定url之后await page.goto(url),会遇到上面的错误,如果这时候使用了sleep之类的延时也会出现这个错误或者类似的time out。

这个问题是puppeteer的bug,但是对方已经修复了,而pyppeteer迟迟没更新,就只能靠自己了,搜了很多人的文章,例如:https://github.com/miyakogi/pyppeteer/issues/171 ,但是我按照这个并没有成功。
也有人增加一个函数,但调用这个参数依然没解决问题。

async def scroll_page(page):
  cur_dist = 0
  height = await page.evaluate("() => document.body.scrollHeight")
  while True:
    if cur_dist < height:
      await page.evaluate("window.scrollBy(0, 500);")
      await asyncio.sleep(0.1)
      cur_dist += 500
    else:
      break

可以把python第三方库websockets版本7.0改为6.0就可以了,亲测可用。

pip uninstall websockets #卸载websockets
pip install websockets==6.0 #指定安装6.0版本

2)chromium浏览器多开页面卡死问题
解决这个问题的方法就是浏览器初始化的时候添加'dumpio':True。

3)浏览器窗口很大,内容显示很小

上面的问题是需要设置浏览器显示大小,默认就是无法正常显示。可以看到页面左侧右侧都是空白,网站内容并没有完整铺满chrome.

browser = await launch({'headless': False,'dumpio':True, 'autoClose':False,'args': ['--no-sandbox', '--window-size=1366,850']})
await page.setViewport({'width':1366,'height':768})

通过上面设置Windows-size和Viewport大小来实现网页完整显示。

但是对于那种向下无限加载的长网页这种情况如果浏览器是可见状态会显示不全,针对这种情况的解决方法就是复制当前网页新开一个标签页粘贴进去就正常了

详解pyppeteer(python版puppeteer)基本使用

三、实际项目示例

import asyncio
from pyppeteer import launch
import time

async def main():exepath = 'C:/Users/tester02/AppData/Local/Google/Chrome/Application/chrome.exe'
  browser = await launch({'executablePath': exepath, 'headless': False, 'slowMo': 30})
  page = await browser.newPage()
  await page.setViewport({'width': 1366, 'height': 768})
  await page.goto('http://192.168.2.66')
  await page.type("#Login_Name_Input", "test02")
  await page.type("#Login_Password_Input", "12345678", )
  await page.waitFor(1000)
  await page.click("#Login_Login_Btn")
  await page.waitFor(3000)
  await browser.close()

asyncio.get_event_loop().run_until_complete(main())
import asyncio
import time
from pyppeteer import launch


async def gmailLogin(username, password, url):
  #'headless': False如果想要浏览器隐藏更改False为True
  # 127.0.0.1:1080为代理ip和端口,这个根据自己的本地代理进行更改,如果是vps里或者全局模式可以删除掉'--proxy-server=127.0.0.1:1080'
  browser = await launch({'headless': False, 'args': ['--no-sandbox', '--proxy-server=127.0.0.1:1080']})
  page = await browser.newPage()
  await page.setUserAgent(
    'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36')

  await page.goto(url)

  # 输入Gmail
  await page.type('#identifierId', username)
  # 点击下一步
  await page.click('#identifierNext > content')
  page.mouse # 模拟真实点击
  time.sleep(10)
  # 输入password
  await page.type('#password input', password)
  # 点击下一步
  await page.click('#passwordNext > content > span')
  page.mouse # 模拟真实点击
  time.sleep(10)
  # 点击安全检测页面的DONE
  # await page.click('div > content > span')#如果本机之前登录过,并且page.setUserAgent设置为之前登录成功的浏览器user-agent了,
  # 就不会出现安全检测页面,这里如果有需要的自己根据需求进行更改,但是还是推荐先用常用浏览器登录成功后再用python程序进行登录。

  # 登录成功截图
  await page.screenshot({'path': './gmail-login.png', 'quality': 100, 'fullPage': True})
  #打开谷歌全家桶跳转,以Youtube为例
  await page.goto('https://www.youtube.com')
  time.sleep(10)


if __name__ == '__main__':
  username = '你的gmail包含@gmail.com'
  password = r'你的gmail密码'
  url = 'https://gmail.com'
  loop = asyncio.get_event_loop()
  loop.run_until_complete(gmailLogin(username, password, url))
# 代码由三分醉编写,网址www.sanfenzui.com,参考如下文章:
# https://blog.csdn.net/Chen_chong__/article/details/82950968

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python程序设计入门(2)变量类型简介
Jun 16 Python
Python多进程同步Lock、Semaphore、Event实例
Nov 21 Python
Python自动生产表情包
Mar 17 Python
利用python模拟实现POST请求提交图片的方法
Jul 25 Python
名片管理系统python版
Jan 11 Python
详解python中asyncio模块
Mar 03 Python
python常用排序算法的实现代码
Nov 08 Python
Python 复平面绘图实例
Nov 21 Python
python turtle 绘制太极图的实例
Dec 18 Python
python图形开发GUI库pyqt5的基本使用方法详解
Feb 14 Python
详解Python中openpyxl模块基本用法
Feb 23 Python
总结几个非常实用的Python库
Jun 26 Python
python实战串口助手_解决8串口多个发送的问题
Jun 12 #Python
对Python 简单串口收发GUI界面的实例详解
Jun 12 #Python
Python3 串口接收与发送16进制数据包的实例
Jun 12 #Python
Python3简单实现串口通信的方法
Jun 12 #Python
Python集中化管理平台Ansible介绍与YAML简介
Jun 12 #Python
selenium获取当前页面的url、源码、title的方法
Jun 12 #Python
Django框架使用内置方法实现登录功能详解
Jun 12 #Python
You might like
PHP5 安装方法
2006/10/09 PHP
jQuery 遍历-nextUntil()方法以及prevUntil()方法的使用介绍
2013/04/26 Javascript
原生javascript实现简单的datagrid数据表格
2015/01/02 Javascript
浅析AngularJS中的生命周期和延迟处理
2015/06/18 Javascript
jQuery中attr()与prop()函数用法实例详解(附用法区别)
2015/12/29 Javascript
jQuery简单入门示例之用户校验demo示例
2016/07/09 Javascript
javascript 中的console.log和弹出窗口alert
2016/08/30 Javascript
Bootstrap 设置datetimepicker在屏幕上面弹出设置方法
2017/03/21 Javascript
input type=file 选择图片并且实现预览效果的实例
2017/10/26 Javascript
Vue.js表单标签中的单选按钮、复选按钮和下拉列表的取值问题
2017/11/22 Javascript
元素全屏的设置与监听实例
2017/11/28 Javascript
Python解析树及树的遍历
2016/02/03 Python
Python将图片转换为字符画的方法
2020/06/16 Python
使用 Python 实现微信群友统计器的思路详解
2018/09/26 Python
在python tkinter中Canvas实现进度条显示的方法
2019/06/14 Python
爬虫代理池Python3WebSpider源代码测试过程解析
2019/12/20 Python
Python matplotlib画曲线例题解析
2020/02/07 Python
python通用读取vcf文件的类(复制粘贴即可用)
2020/02/29 Python
Tkinter中复选菜单是否被选中的判断与设置方式
2020/03/04 Python
Python如何实现FTP功能
2020/05/28 Python
Virtualenv 搭建 Py项目运行环境的教程详解
2020/06/22 Python
Python爬虫爬取糗事百科段子实例分享
2020/07/31 Python
Django xadmin安装及使用详解
2020/10/26 Python
python自动生成证件号的方法示例
2021/01/14 Python
Html5实现文件异步上传功能
2017/05/19 HTML / CSS
比利时网上药店: Drogisterij.net
2017/03/17 全球购物
菲律宾领先的在线时尚商店:Zalora菲律宾
2018/02/08 全球购物
美国全球旅游运营商:Pacific Holidays
2018/06/18 全球购物
大学生冰淇淋店商业计划书
2014/01/14 职场文书
大学生创业感言
2014/01/25 职场文书
平面设计专业求职信
2014/08/09 职场文书
"9.18"国耻日演讲稿范文
2014/09/14 职场文书
5.12护士节活动总结
2015/02/10 职场文书
楚门的世界观后感
2015/06/03 职场文书
2016年寒假社会实践活动心得体会
2015/10/09 职场文书
《雀魂PONG☆》4月1日播出 PV角色设定情报
2022/03/20 日漫