详解pyppeteer(python版puppeteer)基本使用


Posted in Python onJune 12, 2019

一、前言

以前使用selenium的无头浏览器,自从phantomjs2016后慢慢不更新了之后,selenium也开始找下家,这时候谷歌的chrome率先搞出来无头浏览器并开放了各种api,随后firefox也开始做。

现在selenium的测试也都支持这两个浏览器的无头模式了,只需要在引入的时候配置一下就可以了。之所以要采用谷歌chrome官方无头框架puppeteer的python版本pyppeteer,是因为有些网页是可以检测到是否是使用了selenium。并且selenium所谓的保护机制不允许跨域cookies保存以及登录的时候必须先打开网页然后后加载cookies再刷新的方式很不友好。

二、pyppeteer

github地址:https://miyakogi.github.io/pyppeteer/

pyppeteer这个项目是非官方的,是基于谷歌官方puppeteer的python版本。

注意:本来chrome就问题多多,puppeteer也是各种坑,加上pyppeteer是基于前者的改编python版本,也就是产生了只要前两个有一个有bug,那么pyppeteer就会原封不动的继承下来,本来这没什么,但是现在遇到的问题就是pyppeteer这个项目从18年9月份之后就没更新过了,前两者都在不断的更新迭代,而pyppeteer一直不更新,导致很多bug根本没人修复。

遇到的错误:

1)pyppeteer.errors.NetworkError: Protocol error Network.getCookies: Target close
控制访问指定url之后await page.goto(url),会遇到上面的错误,如果这时候使用了sleep之类的延时也会出现这个错误或者类似的time out。

这个问题是puppeteer的bug,但是对方已经修复了,而pyppeteer迟迟没更新,就只能靠自己了,搜了很多人的文章,例如:https://github.com/miyakogi/pyppeteer/issues/171 ,但是我按照这个并没有成功。
也有人增加一个函数,但调用这个参数依然没解决问题。

async def scroll_page(page):
  cur_dist = 0
  height = await page.evaluate("() => document.body.scrollHeight")
  while True:
    if cur_dist < height:
      await page.evaluate("window.scrollBy(0, 500);")
      await asyncio.sleep(0.1)
      cur_dist += 500
    else:
      break

可以把python第三方库websockets版本7.0改为6.0就可以了,亲测可用。

pip uninstall websockets #卸载websockets
pip install websockets==6.0 #指定安装6.0版本

2)chromium浏览器多开页面卡死问题
解决这个问题的方法就是浏览器初始化的时候添加'dumpio':True。

3)浏览器窗口很大,内容显示很小

上面的问题是需要设置浏览器显示大小,默认就是无法正常显示。可以看到页面左侧右侧都是空白,网站内容并没有完整铺满chrome.

browser = await launch({'headless': False,'dumpio':True, 'autoClose':False,'args': ['--no-sandbox', '--window-size=1366,850']})
await page.setViewport({'width':1366,'height':768})

通过上面设置Windows-size和Viewport大小来实现网页完整显示。

但是对于那种向下无限加载的长网页这种情况如果浏览器是可见状态会显示不全,针对这种情况的解决方法就是复制当前网页新开一个标签页粘贴进去就正常了

详解pyppeteer(python版puppeteer)基本使用

三、实际项目示例

import asyncio
from pyppeteer import launch
import time

async def main():exepath = 'C:/Users/tester02/AppData/Local/Google/Chrome/Application/chrome.exe'
  browser = await launch({'executablePath': exepath, 'headless': False, 'slowMo': 30})
  page = await browser.newPage()
  await page.setViewport({'width': 1366, 'height': 768})
  await page.goto('http://192.168.2.66')
  await page.type("#Login_Name_Input", "test02")
  await page.type("#Login_Password_Input", "12345678", )
  await page.waitFor(1000)
  await page.click("#Login_Login_Btn")
  await page.waitFor(3000)
  await browser.close()

asyncio.get_event_loop().run_until_complete(main())
import asyncio
import time
from pyppeteer import launch


async def gmailLogin(username, password, url):
  #'headless': False如果想要浏览器隐藏更改False为True
  # 127.0.0.1:1080为代理ip和端口,这个根据自己的本地代理进行更改,如果是vps里或者全局模式可以删除掉'--proxy-server=127.0.0.1:1080'
  browser = await launch({'headless': False, 'args': ['--no-sandbox', '--proxy-server=127.0.0.1:1080']})
  page = await browser.newPage()
  await page.setUserAgent(
    'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36')

  await page.goto(url)

  # 输入Gmail
  await page.type('#identifierId', username)
  # 点击下一步
  await page.click('#identifierNext > content')
  page.mouse # 模拟真实点击
  time.sleep(10)
  # 输入password
  await page.type('#password input', password)
  # 点击下一步
  await page.click('#passwordNext > content > span')
  page.mouse # 模拟真实点击
  time.sleep(10)
  # 点击安全检测页面的DONE
  # await page.click('div > content > span')#如果本机之前登录过,并且page.setUserAgent设置为之前登录成功的浏览器user-agent了,
  # 就不会出现安全检测页面,这里如果有需要的自己根据需求进行更改,但是还是推荐先用常用浏览器登录成功后再用python程序进行登录。

  # 登录成功截图
  await page.screenshot({'path': './gmail-login.png', 'quality': 100, 'fullPage': True})
  #打开谷歌全家桶跳转,以Youtube为例
  await page.goto('https://www.youtube.com')
  time.sleep(10)


if __name__ == '__main__':
  username = '你的gmail包含@gmail.com'
  password = r'你的gmail密码'
  url = 'https://gmail.com'
  loop = asyncio.get_event_loop()
  loop.run_until_complete(gmailLogin(username, password, url))
# 代码由三分醉编写,网址www.sanfenzui.com,参考如下文章:
# https://blog.csdn.net/Chen_chong__/article/details/82950968

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
利用Python yagmail三行代码实现发送邮件
May 11 Python
python3第三方爬虫库BeautifulSoup4安装教程
Jun 19 Python
python 按不同维度求和,最值,均值的实例
Jun 28 Python
Django框架模板介绍
Jan 15 Python
Python设计模式之策略模式实例详解
Jan 21 Python
selenium+python自动化测试之多窗口切换
Jan 23 Python
通过python爬虫赚钱的方法
Jan 29 Python
详解Anconda环境下载python包的教程(图形界面+命令行+pycharm安装)
Nov 11 Python
Python3实现将一维数组按标准长度分隔为二维数组
Nov 29 Python
通过实例解析python描述符原理作用
Jan 22 Python
Python基于DB-API操作MySQL数据库过程解析
Apr 23 Python
keras导入weights方式
Jun 12 Python
python实战串口助手_解决8串口多个发送的问题
Jun 12 #Python
对Python 简单串口收发GUI界面的实例详解
Jun 12 #Python
Python3 串口接收与发送16进制数据包的实例
Jun 12 #Python
Python3简单实现串口通信的方法
Jun 12 #Python
Python集中化管理平台Ansible介绍与YAML简介
Jun 12 #Python
selenium获取当前页面的url、源码、title的方法
Jun 12 #Python
Django框架使用内置方法实现登录功能详解
Jun 12 #Python
You might like
ip签名探针
2006/10/09 PHP
PHP中大括号'{}'用法实例总结
2017/02/08 PHP
JavaScript中使用Substring删除字符串最后一个字符
2013/11/03 Javascript
jQuery height()、innerHeight()、outerHeight()函数的区别详解
2016/05/23 Javascript
ionic 上拉菜单(ActionSheet)实例代码
2016/06/06 Javascript
jQuery实现简单的tab标签页效果
2016/09/12 Javascript
input获取焦点时底部菜单被顶上来问题的解决办法
2017/01/24 Javascript
浅析bootstrap原理及优缺点
2017/03/19 Javascript
AngularJS模态框模板ngDialog的使用详解
2018/05/11 Javascript
js中怎么判断两个字符串相等的实例
2019/01/17 Javascript
vue项目创建并引入饿了么elementUI组件的步骤
2019/04/11 Javascript
使用VueRouter的addRoutes方法实现动态添加用户的权限路由
2019/06/03 Javascript
jQuery 图片查看器插件 Viewer.js用法简单示例
2020/04/04 jQuery
nuxt.js写项目时增加错误提示页面操作
2020/11/05 Javascript
在vs code 中如何创建一个自己的 Vue 模板代码
2020/11/10 Javascript
Python中用Ctrl+C终止多线程程序的问题解决
2013/03/30 Python
在CentOS上配置Nginx+Gunicorn+Python+Flask环境的教程
2016/06/07 Python
对Python中gensim库word2vec的使用详解
2018/05/08 Python
python爬取网页转换为PDF文件
2018/06/07 Python
Python continue继续循环用法总结
2018/06/10 Python
python实现时间o(1)的最小栈的实例代码
2018/07/23 Python
python中count函数简单的实例讲解
2020/02/06 Python
Django实现whoosh搜索引擎使用jieba分词
2020/04/08 Python
奥兰多迪士尼门票折扣:Undercover Tourist
2018/07/09 全球购物
澳大利亚在线奢侈品时尚零售平台:Azura Runway
2021/01/13 全球购物
新东网科技Java笔试题
2012/07/13 面试题
会计学专业学生的求职信范文
2014/01/27 职场文书
社团2014年植树节活动总结
2014/03/11 职场文书
个人授权委托书
2014/04/03 职场文书
大学生新学期计划书
2014/04/28 职场文书
青春无悔演讲稿
2014/05/08 职场文书
2014年幼儿园老师工作总结
2014/12/05 职场文书
交通安全月活动总结
2015/05/08 职场文书
如何使用Tkinter进行窗口的管理与设置
2021/06/30 Python
MYSQL 运算符总结
2021/11/11 MySQL
python中的getter与setter你了解吗
2022/03/24 Python