解决Python selenium get页面很慢时的问题


Posted in Python onJanuary 30, 2019

driver.get("url")等到页面全部加载渲染完成后才会执行后续的脚本。

在执行脚本时,driver.get("url") ,如果当前的url页面内容较多加载特别慢,很费时间,但是我们需要操作的元素已经加载出来,可以将页面加载停掉,不影响后面的脚本执行,解决办法

设置页面加载timeout,get操作: try get except 脚本window.stop(), 使用GeckoDriver上有效果,

但是在ChromeDriver上还是会有问题,抛出异常timeout后续脚本不会继续执行

GeckoDriver执行具体如下:

访问百度贴吧某个获取其帖子总页数:

可以通过两种方式获取,简单的就是直接定位元素共11页

代码用定位尾页获取总页数

解决Python selenium get页面很慢时的问题

from selenium import webdriver
import re
 
driver = webdriver.Firefox()
#设定页面加载timeout时长,需要的元素能加载出来就行
driver.set_page_load_timeout(20)
driver.set_script_timeout(20)
#try去get
try:
  driver.get("http://tieba.baidu.com/p/5659969529?red_tag=w0852861182")
except:
  print("加载页面太慢,停止加载,继续下一步操作")
  driver.execute_script("window.stop()")
last_page_element = driver.find_element_by_css_selector("li.l_pager.pager_theme_4.pb_list_pager >a:nth-child(12)") #定位到元素尾页元素
#获取尾页页码链接文本
text = last_page_element.get_attribute("href")
all_page_num = re.search("\d+$",text).group() # 正则匹配到页码
print("当前贴吧贴子总页数为:%s"%all_page_num)

以上这篇解决Python selenium get页面很慢时的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python使用MYSQLDB实现从数据库中导出XML文件的方法
May 11 Python
Python 中urls.py:URL dispatcher(路由配置文件)详解
Mar 24 Python
Python矩阵常见运算操作实例总结
Sep 29 Python
python用BeautifulSoup库简单爬虫实例分析
Jul 30 Python
对Python中内置异常层次结构详解
Oct 18 Python
python打开windows应用程序的实例
Jun 28 Python
详解程序意外中断自动重启shell脚本(以Python为例)
Jul 26 Python
python使用 request 发送表单数据操作示例
Sep 25 Python
使用Python 自动生成 Word 文档的教程
Feb 13 Python
Python函数基本使用原理详解
Mar 19 Python
python实现文字版扫雷
Apr 24 Python
pandas中pd.groupby()的用法详解
Jun 16 Python
对python实现模板生成脚本的方法详解
Jan 30 #Python
ActiveMQ:使用Python访问ActiveMQ的方法
Jan 30 #Python
python 发送和接收ActiveMQ消息的实例
Jan 30 #Python
Python批量生成特定尺寸图片及图画任意文字的实例
Jan 30 #Python
理想高通滤波实现Python opencv示例
Jan 30 #Python
对DataFrame数据中的重复行,利用groupby累加合并的方法详解
Jan 30 #Python
WIn10+Anaconda环境下安装PyTorch(避坑指南)
Jan 30 #Python
You might like
PHP无限分类(树形类)
2013/09/28 PHP
ThinkPHP框架下微信支付功能总结踩坑笔记
2019/04/10 PHP
PHP设计模式之适配器模式(Adapter)原理与用法详解
2019/12/12 PHP
JavaScript高级程序设计(第3版)学习笔记5 js语句
2012/10/11 Javascript
JS实现图片预加载无需等待
2012/12/21 Javascript
遍历DOM对象内的元素属性示例代码
2014/02/08 Javascript
JSONP跨域GET请求解决Ajax跨域访问问题
2014/12/31 Javascript
前端学习笔记style,currentStyle,getComputedStyle的用法与区别
2016/05/28 Javascript
一览画面点击复选框后获取多个id值的方法
2016/05/30 Javascript
vue.js+Echarts开发图表放大缩小功能实例
2017/06/09 Javascript
vue2.x集成百度UEditor富文本编辑器的方法
2018/09/21 Javascript
写gulp遇到的ES6问题详解
2018/12/03 Javascript
深入浅出vue图片路径的实现
2019/09/04 Javascript
Vue项目中如何使用Axios封装http请求详解
2019/10/23 Javascript
js 获取本周、上周、本月、上月、本季度、上季度的开始结束日期
2020/02/01 Javascript
微信小程序实现音乐播放页面布局
2020/12/11 Javascript
python编写爬虫小程序
2015/05/14 Python
K-means聚类算法介绍与利用python实现的代码示例
2017/11/13 Python
numpy返回array中元素的index方法
2018/06/27 Python
python游戏地图最短路径求解
2019/01/16 Python
python django model联合主键的例子
2019/08/06 Python
Python基于requests实现模拟上传文件
2020/04/21 Python
python 数据库查询返回list或tuple实例
2020/05/15 Python
Python 基于jwt实现认证机制流程解析
2020/06/22 Python
python获取百度热榜链接的实例方法
2020/08/25 Python
HTML5学习心得总结(推荐)
2016/07/08 HTML / CSS
Html5 APP中监听返回事件处理的方法示例
2018/03/15 HTML / CSS
中东地区最大的奢侈品市场:The Luxury Closet
2019/04/09 全球购物
澳大利亚最便宜的网上药房:Chemist Warehouse
2020/01/30 全球购物
护士岗位求职应聘自荐书范文
2014/02/12 职场文书
财务工作个人总结
2015/02/27 职场文书
放假通知
2015/04/14 职场文书
公积金具结保证书
2015/05/11 职场文书
给校长的建议书作文300字
2015/09/14 职场文书
致创业的您:这类人不适合餐饮创业
2019/08/19 职场文书
mysql优化之query_cache_limit参数说明
2021/07/01 MySQL