selenium切换标签页解决get超时问题的完整代码


Posted in Python onAugust 30, 2020

selenium切换标签页解决get超时问题的完整代码

从 gif 直观地感受一下效果

我有大量 url 需要访问,但是有些 url 会超时

为了避免超时,设置driver.set_page_load_timeout(3)限时3秒,一旦超时就会产生 TimeoutException

而且超时后标签页就卡柱了,只能通过 driver.close()关闭

如果你只有一个标签页,关闭就直接退出了,还得重启

自然想到先保留一个备用的标签,原标签超时需要关闭的时候就切换过来,然后再关闭,并打开新标签,保证任何时候都有两个标签页可用!!

def visit(urls, timeout=3):
 driver.implicitly_wait(timeout) # 操作、获取元素时的隐式等待时间
 driver.set_page_load_timeout(timeout) # 页面加载超时等待时间
 
 main_win = driver.current_window_handle
 
 for url in urls:
  all_win = driver.window_handles
  try:
   if len(all_win) == 1:
    driver.execute_script('window.open();')
   driver.get(url)
   # 页面处理
   pass
   
  except Exception:
   for win in all_win:
    if main_win != win:
     driver.close() # 关闭卡住的标签
     driver.switch_to.window(win) # 切换到备用标签
     main_win = win # 切换到备用标签
     break

完整代码

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.chrome.options import Options
import time
import requests
import zipfile
import os

def un_zip(file_name, to_dir='./'):
 """unzip zip file"""
 zip_file = zipfile.ZipFile(file_name)
 if os.path.isdir(to_dir):
  pass
 else:
  os.mkdir(to_dir)
 for names in zip_file.namelist():
  zip_file.extract(names, to_dir)
 zip_file.close()

 
def download_driver(to_dir='./', version=''):
 print('install chrome-driver first')
 url = 'http://npm.taobao.org/mirrors/chromedriver/LATEST_RELEASE'
 if len(version)>0:
  url = 'http://npm.taobao.org/mirrors/chromedriver/LATEST_RELEASE_'+version
  
 version = requests.get(url).content.decode('utf8')
 driver_file = 'http://npm.taobao.org/mirrors/chromedriver/' + version + '/chromedriver_win32.zip'
 r = requests.get(driver_file)
 download_zip = "chromedriver_win32.zip"
 with open(download_zip, "wb") as code:
  code.write(r.content)
 un_zip(download_zip, to_dir)
 os.remove(download_zip)


try:
 driver = webdriver.Chrome()
except Exception as e:
 download_driver(to_dir='./', version='76')
 driver = webdriver.Chrome()

with open("url.txt", 'r') as file:
 urls = [ line.strip('\n') for line in file.readlines()]

visit(urls)

for i in driver.window_handles:
 driver.switch_to.window(i)
 driver.close()

总结

到此这篇关于selenium切换标签页解决get超时问题的文章就介绍到这了,更多相关selenium切换标签页解决get超时内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
六个窍门助你提高Python运行效率
Jun 09 Python
Python利用multiprocessing实现最简单的分布式作业调度系统实例
Nov 14 Python
django允许外部访问的实例讲解
May 14 Python
Python定义二叉树及4种遍历方法实例详解
Jul 05 Python
Python 生成 -1~1 之间的随机数矩阵方法
Aug 04 Python
Python学习笔记之Django创建第一个数据库模型的方法
Aug 07 Python
Python3.9又更新了:dict内置新功能
Feb 28 Python
基于Python fminunc 的替代方法
Feb 29 Python
使用scrapy ImagesPipeline爬取图片资源的示例代码
Sep 28 Python
Python+OpenCV图像处理——打印图片属性、设置存储路径、调用摄像头
Oct 22 Python
python多线程爬取西刺代理的示例代码
Jan 30 Python
python自然语言处理之字典树知识总结
Apr 25 Python
五分钟带你搞懂python 迭代器与生成器
Aug 30 #Python
python开根号实例讲解
Aug 30 #Python
python一些性能分析的技巧
Aug 30 #Python
python脚本第一行如何写
Aug 30 #Python
golang/python实现归并排序实例代码
Aug 30 #Python
python创建文本文件的简单方法
Aug 30 #Python
python 中的9个实用技巧,助你提高开发效率
Aug 30 #Python
You might like
在apache下限制每个虚拟主机的并发数!!!!
2006/10/09 PHP
详解PHP中的Traits
2015/07/29 PHP
PHP新特性之字节码缓存和内置服务器
2017/08/11 PHP
PHP 超级全局变量相关总结
2020/06/30 PHP
Javascript里使用Dom操作Xml
2006/09/20 Javascript
SharePoint 客户端对象模型 (一) ECMA Script
2011/05/22 Javascript
js匿名函数的调用示例(形式多种多样)
2014/08/20 Javascript
JavaScript调用浏览器打印功能实例分析
2015/07/17 Javascript
jquery实现手风琴效果
2015/11/20 Javascript
ES6学习笔记之正则表达式和字符串正则方法分析
2017/04/25 Javascript
详解AngularJS跨页面传值(ui-router)
2017/08/23 Javascript
BootStrap给table表格的每一行添加一个按钮事件
2017/09/07 Javascript
vue.js购物车添加商品组件的方法
2019/09/17 Javascript
JavaScript实现简单计算器
2020/03/19 Javascript
JavaScript 类的封装操作示例详解
2020/05/16 Javascript
vue router返回到指定的路由的场景分析
2020/11/10 Javascript
深入解析Python中的__builtins__内建对象
2016/06/21 Python
Python实现将Excel转换为json的方法示例
2017/08/05 Python
Django实现简单分页功能的方法详解
2017/12/05 Python
使用Python制作微信跳一跳辅助
2018/01/31 Python
numpy 对矩阵中Nan的处理:采用平均值的方法
2018/10/30 Python
Python设计模式之抽象工厂模式原理与用法详解
2019/01/15 Python
Pytorch使用MNIST数据集实现基础GAN和DCGAN详解
2020/01/10 Python
django有哪些好处和优点
2020/09/01 Python
如何用PyPy让你的Python代码运行得更快
2020/12/02 Python
tensorflow与numpy的版本兼容性问题的解决
2021/01/08 Python
详解HTML5中的拖放事件(Drag 和 drop)
2016/11/14 HTML / CSS
入党推优材料
2014/06/02 职场文书
拉拉队口号
2014/06/16 职场文书
领导班子党的群众路线教育实践活动对照检查材料
2014/09/25 职场文书
会议接待欢迎词范文
2015/01/26 职场文书
社会实践心得体会范文
2016/01/14 职场文书
ORACLE数据库应用开发的三十个注意事项
2021/06/07 Oracle
整理Python中常用的conda命令操作
2021/06/15 Python
MySQL系列之六 用户与授权
2021/07/02 MySQL
Python Pandas数据分析之iloc和loc的用法详解
2021/11/11 Python