Python使用urllib模块的urlopen超时问题解决方法


Posted in Python onNovember 08, 2014

在新的公司开始上班,今天工作的主题内容是市场部门需要抓取一些论坛用户的邮箱,以便发送营销邮件。

于是用了一个python脚本来执行,前面抓了几个都没有什么问题,后来碰到一个论坛,在执行urlopen的地方总是提示超时,百度了一下,因为我使用的是urllib不是urllib2,所以无法直接在urlopen里面加timeout参数,只能是设置全局脚本的超时时间

首先:

import socket

然后:

socket.setdefaulttimeout(60)

设置全局的超时时间为60s。

之后再执行脚本的时候就没有什么大问题了。

Python 相关文章推荐
Python使用代理抓取网站图片(多线程)
Mar 14 Python
python统计一个文本中重复行数的方法
Nov 19 Python
Python实现读取目录所有文件的文件名并保存到txt文件代码
Nov 22 Python
Python导入oracle数据的方法
Jul 10 Python
Python2.x版本中基本的中文编码问题解决
Oct 12 Python
Python跨文件全局变量的实现方法示例
Dec 10 Python
python方向键控制上下左右代码
Jan 20 Python
浅谈numpy生成数组的零值问题
Nov 12 Python
python lambda函数及三个常用的高阶函数
Feb 05 Python
Python发起请求提示UnicodeEncodeError错误代码解决方法
Apr 21 Python
python读取excel进行遍历/xlrd模块操作
Jul 12 Python
PyTorch中Tensor的数据类型和运算的使用
Sep 03 Python
Python set集合类型操作总结
Nov 07 #Python
数据挖掘之Apriori算法详解和Python实现代码分享
Nov 07 #Python
Python的subprocess模块总结
Nov 07 #Python
Python实现的监测服务器硬盘使用率脚本分享
Nov 07 #Python
Python实现的简单发送邮件脚本分享
Nov 07 #Python
Python获取Linux系统下的本机IP地址代码分享
Nov 07 #Python
零基础写python爬虫之使用Scrapy框架编写爬虫
Nov 07 #Python
You might like
PHP Class&Object -- PHP 自排序二叉树的深入解析
2013/06/25 PHP
php实现对象克隆的方法
2015/06/20 PHP
如何在Mozilla Gecko 用Javascript加载XSL
2007/01/09 Javascript
使用jQuery.Validate进行客户端验证(初级篇) 不使用微软验证控件的理由
2010/06/28 Javascript
解析Jquery中如何把一段html代码动态写入到DIV中(实例说明)
2013/07/09 Javascript
jQuery UI插件自定义confirm确认框的方法
2015/03/20 Javascript
jquery实现动画菜单的左右滚动、渐变及图形背景滚动等效果
2015/08/25 Javascript
JS中Json数据的处理和解析JSON数据的方法详解
2016/06/29 Javascript
jQuery操作css样式
2017/05/15 jQuery
node.js中fs.stat与fs.fstat的区别详解
2017/06/01 Javascript
实例讲解JavaScript截取字符串
2018/11/30 Javascript
手挽手带你学React之React-router4.x的使用
2019/02/14 Javascript
Vuepress 搭建带评论功能的静态博客的实现
2019/02/17 Javascript
javascript删除数组元素的七个方法示例
2019/09/09 Javascript
javascript 使用sleep函数的常见方法详解
2020/04/26 Javascript
[45:10]NB vs Liquid Supermajor小组赛 A组胜者组决赛 BO3 第二场 6.2
2018/06/04 DOTA
Python urls.py的三种配置写法实例详解
2017/04/28 Python
tensorflow构建BP神经网络的方法
2018/03/12 Python
Python嵌套列表转一维的方法(压平嵌套列表)
2018/07/03 Python
对pandas中iloc,loc取数据差别及按条件取值的方法详解
2018/11/06 Python
python中的print()输出
2019/04/12 Python
MyFrenchPharma中文网:最大的法国药妆平台
2016/10/07 全球购物
YSL圣罗兰美妆官方旗舰店:购买YSL口红
2018/04/16 全球购物
学校经典推荐信
2013/10/30 职场文书
汽车运用工程专业毕业生推荐信
2013/12/25 职场文书
护理专科毕业自荐信范文
2014/04/21 职场文书
知识改变命运演讲稿
2014/05/21 职场文书
解除劳动合同证明书
2014/09/26 职场文书
2014年共青团工作总结
2014/12/10 职场文书
学习型家庭事迹材料
2014/12/20 职场文书
邀请函格式范文
2015/02/02 职场文书
乡镇科协工作总结2015
2015/05/19 职场文书
鸡毛信观后感
2015/06/11 职场文书
2016年第16个全民国防教育日宣传活动总结
2016/04/05 职场文书
vue中控制mock在开发环境使用,在生产环境禁用方式
2022/04/06 Vue.js
SQL Server数据库查询出现阻塞之性能调优
2022/04/10 SQL Server