Python使用urllib模块的urlopen超时问题解决方法


Posted in Python onNovember 08, 2014

在新的公司开始上班,今天工作的主题内容是市场部门需要抓取一些论坛用户的邮箱,以便发送营销邮件。

于是用了一个python脚本来执行,前面抓了几个都没有什么问题,后来碰到一个论坛,在执行urlopen的地方总是提示超时,百度了一下,因为我使用的是urllib不是urllib2,所以无法直接在urlopen里面加timeout参数,只能是设置全局脚本的超时时间

首先:

import socket

然后:

socket.setdefaulttimeout(60)

设置全局的超时时间为60s。

之后再执行脚本的时候就没有什么大问题了。

Python 相关文章推荐
Python中bisect的用法
Sep 23 Python
在Django的视图中使用数据库查询的方法
Jul 16 Python
Python中取整的几种方法小结
Jan 06 Python
单链表反转python实现代码示例
Feb 08 Python
python3 selenium 切换窗口的几种方法小结
May 21 Python
python用插值法绘制平滑曲线
Feb 19 Python
Python generator生成器和yield表达式详解
Aug 08 Python
python实现12306登录并保存cookie的方法示例
Dec 17 Python
TensorFlow实现指数衰减学习率的方法
Feb 05 Python
带你学习Python如何实现回归树模型
Jul 16 Python
python 用pandas实现数据透视表功能
Dec 21 Python
python 利用matplotlib在3D空间中绘制平面的案例
Feb 06 Python
Python set集合类型操作总结
Nov 07 #Python
数据挖掘之Apriori算法详解和Python实现代码分享
Nov 07 #Python
Python的subprocess模块总结
Nov 07 #Python
Python实现的监测服务器硬盘使用率脚本分享
Nov 07 #Python
Python实现的简单发送邮件脚本分享
Nov 07 #Python
Python获取Linux系统下的本机IP地址代码分享
Nov 07 #Python
零基础写python爬虫之使用Scrapy框架编写爬虫
Nov 07 #Python
You might like
PHPlet在Windows下的安装
2006/10/09 PHP
给初学PHP的5个入手程序
2006/11/23 PHP
php处理json时中文问题的解决方法
2011/04/12 PHP
PHP缓存机制Output Control详解
2014/07/14 PHP
php+ajax实时刷新简单实例
2015/02/25 PHP
PHP实现的一致性哈希算法完整实例
2015/11/14 PHP
php排序算法实例分析
2016/10/17 PHP
ThinkPHP框架结合Ajax实现用户名校验功能示例
2019/07/03 PHP
PHP页面静态化――纯静态与伪静态用法详解
2020/06/05 PHP
jQuery拖动图片删除示例
2013/05/10 Javascript
JQuery为页面Dom元素绑定事件及解除绑定方法
2014/04/23 Javascript
什么是 AngularJS?AngularJS简介
2014/12/06 Javascript
大型JavaScript应用程序架构设计模式
2016/06/29 Javascript
angular route中使用resolve在uglify压缩后问题解决
2016/09/21 Javascript
JQuery页面随滚动条动态加载效果的简单实现(推荐)
2017/02/08 Javascript
node.js利用redis数据库缓存数据的方法
2017/03/01 Javascript
jQuery实现图片滑动效果
2017/03/08 Javascript
Webpack的dll功能使用
2018/06/28 Javascript
如何封装了一个vue移动端下拉加载下一页数据的组件
2019/01/06 Javascript
[02:19]2018年度DOTA2最佳核心位选手-完美盛典
2018/12/17 DOTA
零基础写python爬虫之使用urllib2组件抓取网页内容
2014/11/04 Python
Python的Django框架中的数据过滤功能
2015/07/17 Python
使用Python爬虫库BeautifulSoup遍历文档树并对标签进行操作详解
2020/01/25 Python
pycharm + django跨域无提示的解决方法
2020/12/06 Python
北美领先的智能产品购物网站:Wellbots
2018/06/11 全球购物
阿拉伯书店:Jamalon
2019/07/24 全球购物
若通过ObjectOutputStream向一个文件中多次以追加方式写入object,为什么用ObjectInputStream读取这些object时会产生StreamCorruptedException?
2016/10/17 面试题
分公司经理岗位职责
2013/11/11 职场文书
精彩的大学生自我评价
2013/11/17 职场文书
房地产广告词大全
2014/03/19 职场文书
演讲稿格式范文
2014/05/19 职场文书
和谐社区口号
2014/06/19 职场文书
班级体育活动总结
2014/07/05 职场文书
内勤岗位职责
2015/02/10 职场文书
北京英语导游词
2015/02/12 职场文书
电频谱管理的原则是什么
2022/02/18 无线电