Python selenium页面加载慢超时的解决方案


Posted in Python onMarch 18, 2020

开发环境:

win10-64  python2.7.16  chrome77

from selenium import webdriver
driver = webdriver.Chrome(executable_path='chromedriver.exe')
driver.get('http://全部加载完成超级慢的网站')

user = 'abc'
pwd = '123

driver.find_element_by_id('email').send_keys(user)
driver.find_element_by_id('pass').send_keys(pwd)

先看这样一段代码

当执行了get以后,除非网站全部加载完成,否则你只能乖乖等,什么都不能干,这是整个程序是阻塞的,get不完就别想进行下面操作

这个等待可能是5分钟或者更久

其实5秒钟的时候界面就已经打开了,然后他还在加载些什么js,img,等待速度超慢的,但是网页人工是可以操作

那么有没有什么办法呢,网上找了一通,给出了很多解决方案

首先是这货(下面是我复制的):

from selenium import webdriver
driver=webdriver.Chrome()
driver.set_page_load_timeout(5)
driver.set_script_timeout(5)#这两种设置都进行才有效
try:
  d.get(s)
except:
  d.execute_script('window.stop()')#这句话好像没什么软用

可以在页面停止加载后继续操作了

driver.set_page_load_timeout(5)这玩意一设置,没问题,5秒后网页确实停止了,但是driver也死了,不管运行什么都是timeout,还说try一下,driver是死透了,只能重新来
不知道是selenium更新了还是他自己没测试还是chrome更新了,现在这么设置就是找死的

注意:使用set_page_load_timeout时候,当页面未加载出任何东西的时候(往往是html源码未加载),因为超时而停止,会导致driver失效,
后面的driver都不能操作,所以超时设置应该至少保证页面内容加载出来一部分,设置超时不宜过短,如下图在页面此种状态下停止加载后driver失效。

不错,是有人也说了,不能设置太短,会失效,但是我可以说,你设置5分钟照样失效,只要超时一次,driver就完蛋,直接翻车

接下来是另一个方法

# coding = utf-8
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
import time

driver = webdriver.Chrome()
class button():
  def __call__(self, driver):
    if driver.find_element_by_id('js_love_url'):
      return True
    else:
      return False 

driver.implicitly_wait(60)
time_start = time.time()
driver.get('https://www.163.com/')

# driver.find_element_by_id('js_love_url').click()
WebDriverWait(driver,2,0.5).until(button()) 
time_end = time.time()
print('access time is : ', time_end - time_start)
time.sleep(2)
driver.quit()

用WebDriverWait进行操作,不过我测试下来,driver.get()不执行完,下面的代码根本就不会执行,所以还是不行

找了各种方法,各种操作,都失败了,总算今天找到了正确的方法

原理非常简单:driver.get()这个操作,改成不阻塞的就行了,这样打开网页就操作完成了,不需要等他加载

下面我可以直接等待需要的元素出现即可进行操作

配置也是很简单

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

#get直接返回,不再等待界面加载完成
desired_capabilities = DesiredCapabilities.CHROME
desired_capabilities["pageLoadStrategy"] = "none"

driver = webdriver.Chrome(executable_path='chromedriver.exe')

配置一个参数,就是页面加载策略,系统默认是等待,就是等他加载完,直接设置成none,就是不等待,这样就是get操作完后直接就是结束了

到此这篇关于Python selenium页面加载慢超时的解决方案的文章就介绍到这了,更多相关Python selenium加载慢内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python中stdout输出不缓存的设置方法
May 29 Python
python通过zlib实现压缩与解压字符串的方法
Nov 19 Python
python对DICOM图像的读取方法详解
Jul 17 Python
Python实现接受任意个数参数的函数方法
Apr 21 Python
pow在python中的含义及用法
Jul 11 Python
Python 自动登录淘宝并保存登录信息的方法
Sep 04 Python
在Python中使用MySQL--PyMySQL的基本使用方法
Nov 19 Python
基于Tensorflow高阶读写教程
Feb 10 Python
python matplotlib绘制三维图的示例
Sep 24 Python
Restful_framework视图组件代码实例解析
Nov 17 Python
浅析Python的命名空间与作用域
Nov 25 Python
史上最详细的Python打包成exe文件教程
Jan 17 Python
Python Selenium 设置元素等待的三种方式
Mar 18 #Python
Python多线程threading join和守护线程setDeamon原理详解
Mar 18 #Python
Python semaphore evevt生产者消费者模型原理解析
Mar 18 #Python
Python中remove漏删和索引越界问题的解决
Mar 18 #Python
Python集成开发工具Pycharm的安装和使用详解
Mar 18 #Python
Python3监控windows,linux系统的CPU、硬盘、内存使用率和各个端口的开启情况详细代码实例
Mar 18 #Python
PyTorch加载自己的数据集实例详解
Mar 18 #Python
You might like
php实现留言板功能
2017/03/05 PHP
PHP getName()函数讲解
2019/02/03 PHP
Laravel 实现添加多语言提示信息
2019/10/25 PHP
javascript之ESC(第二类混淆)
2007/05/06 Javascript
基于JQuery的一句代码实现表格的简单筛选
2010/07/26 Javascript
简单的jquery拖拽排序效果实现代码
2011/09/20 Javascript
js如何取消事件冒泡
2013/09/23 Javascript
调用jQuery滑出效果时闪烁的解决方法
2014/03/27 Javascript
javascript表单验证大全
2015/08/12 Javascript
jquery+html5烂漫爱心表白动画代码分享
2015/08/24 Javascript
基于JQuery实现的跑马灯效果(文字无缝向上翻动)
2016/12/02 Javascript
纯js实现悬浮按钮组件
2016/12/17 Javascript
vue 全选与反选的实现方法(无Bug 新手看过来)
2018/02/09 Javascript
Vue SSR 组件加载问题
2018/05/02 Javascript
node.js express框架简介与实现
2019/07/23 Javascript
微信小程序 wx:for遍历循环使用实例解析
2019/09/09 Javascript
vue+element树组件 实现树懒加载的过程详解
2019/10/21 Javascript
使用vue-cli4.0快速搭建一个项目的方法步骤
2019/12/04 Javascript
Python编程之event对象的用法实例分析
2017/03/23 Python
Python爬虫_城市公交、地铁站点和线路数据采集实例
2018/01/10 Python
Python八大常见排序算法定义、实现及时间消耗效率分析
2018/04/27 Python
Python 中PyQt5 点击主窗口弹出另一个窗口的实现方法
2019/07/04 Python
python Matplotlib底图中鼠标滑过显示隐藏内容的实例代码
2019/07/31 Python
Django与pyecharts结合的实例代码
2020/05/13 Python
Becextech新西兰:数码单反相机和手机在线商店
2018/04/27 全球购物
婴儿地球:Baby Earth
2018/12/25 全球购物
Tenstickers法国:墙贴和装饰贴纸
2019/08/26 全球购物
写自荐信有哪些不宜?
2013/10/17 职场文书
《世界多美呀》教学反思
2014/03/02 职场文书
弄虚作假心得体会
2014/09/10 职场文书
银行奉献演讲稿
2014/09/16 职场文书
环境工程专业毕业生求职信
2014/09/30 职场文书
大学生就业协议书范本(适用于公司企业)
2014/10/07 职场文书
2015年超市工作总结范文
2015/05/26 职场文书
Nginx域名转发使用场景代码实例
2021/03/31 Servers
Python下opencv使用hough变换检测直线与圆
2021/06/18 Python