Python使用urllib模块的urlopen超时问题解决方法


Posted in Python onNovember 08, 2014

在新的公司开始上班,今天工作的主题内容是市场部门需要抓取一些论坛用户的邮箱,以便发送营销邮件。

于是用了一个python脚本来执行,前面抓了几个都没有什么问题,后来碰到一个论坛,在执行urlopen的地方总是提示超时,百度了一下,因为我使用的是urllib不是urllib2,所以无法直接在urlopen里面加timeout参数,只能是设置全局脚本的超时时间

首先:

import socket

然后:

socket.setdefaulttimeout(60)

设置全局的超时时间为60s。

之后再执行脚本的时候就没有什么大问题了。

Python 相关文章推荐
Python与Java间Socket通信实例代码
Mar 06 Python
Python使用PDFMiner解析PDF代码实例
Mar 27 Python
Mac 上切换Python多版本
Jun 17 Python
python 删除大文件中的某一行(最有效率的方法)
Aug 19 Python
利用Python暴力破解zip文件口令的方法详解
Dec 21 Python
30秒轻松实现TensorFlow物体检测
Mar 14 Python
终端命令查看TensorFlow版本号及路径的方法
Jun 13 Python
对Python中的条件判断、循环以及循环的终止方法详解
Feb 08 Python
python区分不同数据类型的方法
Oct 14 Python
pytorch forward两个参数实例
Jan 17 Python
Django 多对多字段的更新和插入数据实例
Mar 31 Python
深度学习tensorflow基础mnist
Apr 14 Python
Python set集合类型操作总结
Nov 07 #Python
数据挖掘之Apriori算法详解和Python实现代码分享
Nov 07 #Python
Python的subprocess模块总结
Nov 07 #Python
Python实现的监测服务器硬盘使用率脚本分享
Nov 07 #Python
Python实现的简单发送邮件脚本分享
Nov 07 #Python
Python获取Linux系统下的本机IP地址代码分享
Nov 07 #Python
零基础写python爬虫之使用Scrapy框架编写爬虫
Nov 07 #Python
You might like
PHP中Notice错误常见解决方法
2017/04/28 PHP
Thinkphp5 微信公众号token验证不成功的原因及解决方法
2017/11/12 PHP
学习thinkphp5.0验证类使用方法
2017/11/16 PHP
动态的改变IFrame的高度实现IFrame自动伸展适应高度
2012/12/28 Javascript
JS禁用浏览器退格键实现思路及代码
2013/10/29 Javascript
Javascript执行效率全面总结
2013/11/04 Javascript
JavaScript中对象property的删除方法介绍
2014/12/30 Javascript
浅析AngularJS中的生命周期和延迟处理
2015/06/18 Javascript
javascript文件加载管理简单实现方法
2015/07/25 Javascript
jQuery满屏焦点图左右滚动特效代码分享
2015/09/07 Javascript
jQuery+canvas实现的球体平抛及颜色动态变换效果
2016/01/28 Javascript
原生js实现百叶窗效果及原理介绍
2016/04/12 Javascript
JavaScript实战之带收放动画效果的导航菜单
2016/08/16 Javascript
Vue中的v-cloak使用解读
2017/03/27 Javascript
jquery动态添加以及遍历option并获取特定样式名称的option方法
2018/01/29 jQuery
微信小程序开发常见问题及解决方案
2019/07/11 Javascript
javascript json对象小技巧之键名作为变量用法分析
2019/11/11 Javascript
完美解决通过IP地址访问VUE项目的问题
2020/07/18 Javascript
[00:56]2014DOTA2国际邀请赛 DK、iG 赛前探访
2014/07/10 DOTA
python和pyqt实现360的CLable控件
2014/02/21 Python
Python中的fileinput模块的简单实用示例
2015/07/09 Python
Python编程实现数学运算求一元二次方程的实根算法示例
2017/04/02 Python
Python实现连接postgresql数据库的方法分析
2017/12/27 Python
python添加菜单图文讲解
2019/06/04 Python
Python中list循环遍历删除数据的正确方法
2019/09/02 Python
python opencv将表格图片按照表格框线分割和识别
2019/10/30 Python
python保留小数位的三种实现方法
2020/01/07 Python
Python3爬虫ChromeDriver的安装实例
2021/02/06 Python
HTML5 Canvas概述
2009/08/26 HTML / CSS
Abe’s of Maine:自1979以来销售相机和电子产品
2016/11/21 全球购物
土木工程应届生求职信
2013/10/31 职场文书
开会迟到检讨书
2014/01/08 职场文书
竞选班干部的演讲稿
2014/04/24 职场文书
党员组织生活会发言材料
2014/10/17 职场文书
小学学习委员竞选稿
2015/11/20 职场文书
学者《孟子》名人名言
2019/08/09 职场文书