Python使用urllib模块的urlopen超时问题解决方法


Posted in Python onNovember 08, 2014

在新的公司开始上班,今天工作的主题内容是市场部门需要抓取一些论坛用户的邮箱,以便发送营销邮件。

于是用了一个python脚本来执行,前面抓了几个都没有什么问题,后来碰到一个论坛,在执行urlopen的地方总是提示超时,百度了一下,因为我使用的是urllib不是urllib2,所以无法直接在urlopen里面加timeout参数,只能是设置全局脚本的超时时间

首先:

import socket

然后:

socket.setdefaulttimeout(60)

设置全局的超时时间为60s。

之后再执行脚本的时候就没有什么大问题了。

Python 相关文章推荐
零基础写python爬虫之抓取百度贴吧代码分享
Nov 06 Python
Python文件及目录操作实例详解
Jun 04 Python
python开发中range()函数用法实例分析
Nov 12 Python
Python 迭代器工具包【推荐】
May 06 Python
Python使用cookielib模块操作cookie的实例教程
Jul 12 Python
Python编程使用*解包和itertools.product()求笛卡尔积的方法
Dec 18 Python
python3.5 email实现发送邮件功能
May 22 Python
Python解决线性代数问题之矩阵的初等变换方法
Dec 12 Python
python中如何使用分步式进程计算详解
Mar 22 Python
Django生成PDF文档显示在网页上以及解决PDF中文显示乱码的问题
Jul 04 Python
选择Python写网络爬虫的优势和理由
Jul 07 Python
python状态机transitions库详解
Jun 02 Python
Python set集合类型操作总结
Nov 07 #Python
数据挖掘之Apriori算法详解和Python实现代码分享
Nov 07 #Python
Python的subprocess模块总结
Nov 07 #Python
Python实现的监测服务器硬盘使用率脚本分享
Nov 07 #Python
Python实现的简单发送邮件脚本分享
Nov 07 #Python
Python获取Linux系统下的本机IP地址代码分享
Nov 07 #Python
零基础写python爬虫之使用Scrapy框架编写爬虫
Nov 07 #Python
You might like
PHP爆绝对路径方法收集整理
2012/09/17 PHP
学习php分页代码实例
2013/10/24 PHP
PHP实现二叉树深度优先遍历(前序、中序、后序)和广度优先遍历(层次)实例详解
2018/04/20 PHP
php中关于换行的实例写法
2019/09/26 PHP
PHP 超级全局变量相关总结
2020/06/30 PHP
Javascript----文件操作
2007/01/18 Javascript
JS加ASP二级域名转向的代码
2007/05/17 Javascript
doctype后如何获得body.clientHeight的方法
2007/07/11 Javascript
JS在IE和FF下attachEvent,addEventListener学习笔记
2009/11/26 Javascript
仿JQuery输写高效JSLite代码的一些技巧
2015/01/13 Javascript
JS实现的网页倒计时数字时钟效果
2015/03/02 Javascript
javascript实现简单的贪吃蛇游戏
2015/03/31 Javascript
javascript实现状态栏文字首尾相接循环滚动的方法
2015/07/22 Javascript
jquery模拟alert的弹窗插件
2015/07/31 Javascript
JS Canvas定时器模拟动态加载动画
2016/09/17 Javascript
Vue.js使用$.ajax和vue-resource实现OAuth的注册、登录、注销和API调用
2017/05/10 Javascript
zepto.js 实时监听输入框的方法
2018/12/04 Javascript
Electron+vue从零开始打造一个本地播放器的方法示例
2020/10/27 Javascript
Python实现二维有序数组查找的方法
2016/04/27 Python
Python3连接MySQL(pymysql)模拟转账实现代码
2016/05/24 Python
基于ID3决策树算法的实现(Python版)
2017/05/31 Python
TensorFlow实现非线性支持向量机的实现方法
2018/04/28 Python
Python3.7 pyodbc完美配置访问access数据库
2019/10/03 Python
Python中断多重循环的几种方式详解
2020/02/10 Python
python图片验证码识别最新模块muggle_ocr的示例代码
2020/07/03 Python
python集合的新增元素方法整理
2020/12/07 Python
python中用ggplot绘制画图实例讲解
2021/01/26 Python
css3打造一款漂亮的卡哇伊按钮
2013/03/20 HTML / CSS
重新定义牛仔布,100美元以下:Warp + Weft
2018/07/25 全球购物
迟到检讨书5000字
2014/01/31 职场文书
租房协议书怎么写
2014/04/10 职场文书
抄袭同学作业检讨书1000字
2014/11/20 职场文书
保研推荐信格式
2015/03/25 职场文书
2015秋季开学演讲稿范文
2015/07/16 职场文书
MySQL 中如何归档数据的实现方法
2022/03/16 SQL Server
vue报错function () { [native code] },无法出现我们想要的内容 Unknown custom element
2022/04/11 Vue.js