Python使用urllib模块的urlopen超时问题解决方法


Posted in Python onNovember 08, 2014

在新的公司开始上班,今天工作的主题内容是市场部门需要抓取一些论坛用户的邮箱,以便发送营销邮件。

于是用了一个python脚本来执行,前面抓了几个都没有什么问题,后来碰到一个论坛,在执行urlopen的地方总是提示超时,百度了一下,因为我使用的是urllib不是urllib2,所以无法直接在urlopen里面加timeout参数,只能是设置全局脚本的超时时间

首先:

import socket

然后:

socket.setdefaulttimeout(60)

设置全局的超时时间为60s。

之后再执行脚本的时候就没有什么大问题了。

Python 相关文章推荐
Python 自动安装 Rising 杀毒软件
Apr 24 Python
python字符串连接方式汇总
Aug 21 Python
python中的代码编码格式转换问题
Jun 10 Python
python中子类调用父类函数的方法示例
Aug 18 Python
TensorFlow实现RNN循环神经网络
Feb 28 Python
Python使用Selenium模块实现模拟浏览器抓取淘宝商品美食信息功能示例
Jul 18 Python
基于python2.7实现图形密码生成器的实例代码
Nov 05 Python
python groupby 函数 as_index详解
Dec 16 Python
使用Python实现Wake On Lan远程开机功能
Jan 22 Python
Python字典深浅拷贝与循环方式方法详解
Feb 09 Python
tensorflow 获取checkpoint中的变量列表实例
Feb 11 Python
python em算法的实现
Oct 03 Python
Python set集合类型操作总结
Nov 07 #Python
数据挖掘之Apriori算法详解和Python实现代码分享
Nov 07 #Python
Python的subprocess模块总结
Nov 07 #Python
Python实现的监测服务器硬盘使用率脚本分享
Nov 07 #Python
Python实现的简单发送邮件脚本分享
Nov 07 #Python
Python获取Linux系统下的本机IP地址代码分享
Nov 07 #Python
零基础写python爬虫之使用Scrapy框架编写爬虫
Nov 07 #Python
You might like
PHP下编码转换函数mb_convert_encoding与iconv的使用说明
2009/12/16 PHP
php调用方法mssql_fetch_row、mssql_fetch_array、mssql_fetch_assoc和mssql_fetch_objcect读取数据的区别
2012/08/08 PHP
php基于Fleaphp框架实现cvs数据导入MySQL的方法
2016/02/23 PHP
Laravel 中使用 Vue.js 实现基于 Ajax 的表单提交错误验证操作
2017/06/30 PHP
JavaScript 创建对象
2009/07/17 Javascript
javascript面向对象之Javascript 继承
2010/05/04 Javascript
用js实现判断当前网址的来路如果不是指定的来路就跳转到指定页面
2011/05/02 Javascript
js+html+css实现鼠标移动div实例
2013/01/30 Javascript
jquery简单实现滚动条下拉DIV固定在头部不动
2013/11/25 Javascript
Js使用WScript.Shell对象执行.bat文件和cmd命令
2014/12/18 Javascript
jQuery鼠标经过方形图片切换成圆边效果代码分享
2015/08/20 Javascript
Javascript如何判断数据类型和数组类型
2016/06/22 Javascript
vue.js表格组件开发的实例详解
2016/10/12 Javascript
JS中用三种方式实现导航菜单中的二级下拉菜单
2016/10/31 Javascript
Bootstrap table两种分页示例
2016/12/23 Javascript
使用 Javascript 实现浏览器推送提醒功能的示例
2017/11/03 Javascript
JS实现的冒泡排序,快速排序,插入排序算法示例
2019/03/02 Javascript
[48:31]完美世界DOTA2联赛PWL S3 DLG vs Phoenix 第二场 12.17
2020/12/19 DOTA
Python3使用requests登录人人影视网站的方法
2016/05/11 Python
python实现微信远程控制电脑
2018/02/22 Python
python 3.6.7实现端口扫描器
2019/09/04 Python
Python搭建代理IP池实现获取IP的方法
2019/10/27 Python
解决运行django程序出错问题 'str'object has no attribute'_meta'
2020/07/15 Python
世界上最好的威士忌和烈性酒购买网站:The Whisky Exchange
2016/11/20 全球购物
英国评分最高的女性剃须刀订阅盒:FFS Beauty
2018/01/25 全球购物
欧洲当代手工玻璃和瓷器的领先品牌:LSA International
2018/06/03 全球购物
Farfetch阿联酋:奢侈品牌时尚购物平台
2019/07/26 全球购物
这76道Java面试题及答案,祝你能成功通过面试
2016/04/16 面试题
电子信息毕业生自荐信
2013/11/16 职场文书
临床医师专业个人自我评价
2014/01/08 职场文书
研究生导师评语
2014/12/31 职场文书
小学生必读成语故事大全:送给暑假的你们
2019/07/09 职场文书
通过shell脚本对mysql的增删改查及my.cnf的配置
2021/07/07 MySQL
CSS实现两列布局的N种方法
2021/08/02 HTML / CSS
vue-cil之axios的二次封装与proxy反向代理使用说明
2022/04/07 Vue.js
Python如何让字典保持有序排列
2022/04/29 Python