解决Python selenium get页面很慢时的问题


Posted in Python onJanuary 30, 2019

driver.get("url")等到页面全部加载渲染完成后才会执行后续的脚本。

在执行脚本时,driver.get("url") ,如果当前的url页面内容较多加载特别慢,很费时间,但是我们需要操作的元素已经加载出来,可以将页面加载停掉,不影响后面的脚本执行,解决办法

设置页面加载timeout,get操作: try get except 脚本window.stop(), 使用GeckoDriver上有效果,

但是在ChromeDriver上还是会有问题,抛出异常timeout后续脚本不会继续执行

GeckoDriver执行具体如下:

访问百度贴吧某个获取其帖子总页数:

可以通过两种方式获取,简单的就是直接定位元素共11页

代码用定位尾页获取总页数

解决Python selenium get页面很慢时的问题

from selenium import webdriver
import re
 
driver = webdriver.Firefox()
#设定页面加载timeout时长,需要的元素能加载出来就行
driver.set_page_load_timeout(20)
driver.set_script_timeout(20)
#try去get
try:
  driver.get("http://tieba.baidu.com/p/5659969529?red_tag=w0852861182")
except:
  print("加载页面太慢,停止加载,继续下一步操作")
  driver.execute_script("window.stop()")
last_page_element = driver.find_element_by_css_selector("li.l_pager.pager_theme_4.pb_list_pager >a:nth-child(12)") #定位到元素尾页元素
#获取尾页页码链接文本
text = last_page_element.get_attribute("href")
all_page_num = re.search("\d+$",text).group() # 正则匹配到页码
print("当前贴吧贴子总页数为:%s"%all_page_num)

以上这篇解决Python selenium get页面很慢时的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python制作爬虫采集小说
Oct 25 Python
基于python的图片修复程序(实现水印去除)
Jun 04 Python
python opencv实现图片旋转矩形分割
Jul 26 Python
python pands实现execl转csv 并修改csv指定列的方法
Dec 12 Python
Linux下Pycharm、Anaconda环境配置及使用踩坑
Dec 19 Python
Python中捕获键盘的方式详解
Mar 28 Python
Python matplotlib学习笔记之坐标轴范围
Jun 28 Python
Python3 main函数使用sys.argv传入多个参数的实现
Dec 25 Python
在Python中使用K-Means聚类和PCA主成分分析进行图像压缩
Apr 10 Python
Python-openCV开运算实例
Jul 05 Python
matplotlib常见函数之plt.rcParams、matshow的使用(坐标轴设置)
Jan 05 Python
python文件目录操作之os模块
May 08 Python
对python实现模板生成脚本的方法详解
Jan 30 #Python
ActiveMQ:使用Python访问ActiveMQ的方法
Jan 30 #Python
python 发送和接收ActiveMQ消息的实例
Jan 30 #Python
Python批量生成特定尺寸图片及图画任意文字的实例
Jan 30 #Python
理想高通滤波实现Python opencv示例
Jan 30 #Python
对DataFrame数据中的重复行,利用groupby累加合并的方法详解
Jan 30 #Python
WIn10+Anaconda环境下安装PyTorch(避坑指南)
Jan 30 #Python
You might like
PHP面向对象——访问修饰符介绍
2012/11/08 PHP
一个图片地址分解程序(用于PHP小偷程序)
2014/08/23 PHP
Js 去掉字符串中的空格(实现代码)
2013/11/19 Javascript
浅谈JS原型对象和原型链
2016/03/02 Javascript
Js删除数组中某一项或几项的几种方法(推荐)
2016/07/27 Javascript
Bootstrap Table服务器分页与在线编辑应用总结
2016/08/08 Javascript
Angular Module声明和获取重载实例代码
2016/09/14 Javascript
js实现登录验证码
2016/12/22 Javascript
EasyUi 打开对话框后控件赋值及赋值后不显示的问题解决办法
2017/01/19 Javascript
原生js实现电商侧边导航效果
2017/01/19 Javascript
js如何获取网页所有图片
2017/05/12 Javascript
angular4中关于表单的校验示例
2017/10/16 Javascript
vue2.0 axios跨域并渲染的问题解决方法
2018/03/08 Javascript
微信小程序制作表格的方法
2019/02/14 Javascript
Vue中的验证登录状态的实现方法
2019/03/09 Javascript
layui写后台表格思路和赋值用法详解
2019/11/14 Javascript
vue-autoui自匹配webapi的UI控件的实现
2020/03/20 Javascript
vue 使用class创建和清除水印的示例代码
2020/12/25 Vue.js
浅析python中的分片与截断序列
2016/08/09 Python
Python编程之序列操作实例详解
2017/07/22 Python
Python实现注册登录系统
2017/08/08 Python
简单了解python模块概念
2018/01/11 Python
对python中Librosa的mfcc步骤详解
2019/01/09 Python
python爬取cnvd漏洞库信息的实例
2019/02/14 Python
Python命令行参数解析工具 docopt 安装和应用过程详解
2019/09/26 Python
HTML5标签与HTML4标签的区别示例介绍
2013/07/18 HTML / CSS
红色康乃馨酒店:Red Carnation Hotels
2017/06/22 全球购物
芝加哥牛排公司:Chicago Steak Company
2018/10/31 全球购物
简历自荐信
2013/12/02 职场文书
校友会欢迎辞
2014/01/13 职场文书
小学生安全责任书
2014/07/25 职场文书
自我查摆剖析材料
2014/10/11 职场文书
个人投资合作协议书
2014/10/12 职场文书
个人作风建设自查报告
2014/10/22 职场文书
2015年学校团委工作总结
2015/05/26 职场文书
高温慰问简报
2015/07/21 职场文书