Python使用urllib模块的urlopen超时问题解决方法


Posted in Python onNovember 08, 2014

在新的公司开始上班,今天工作的主题内容是市场部门需要抓取一些论坛用户的邮箱,以便发送营销邮件。

于是用了一个python脚本来执行,前面抓了几个都没有什么问题,后来碰到一个论坛,在执行urlopen的地方总是提示超时,百度了一下,因为我使用的是urllib不是urllib2,所以无法直接在urlopen里面加timeout参数,只能是设置全局脚本的超时时间

首先:

import socket

然后:

socket.setdefaulttimeout(60)

设置全局的超时时间为60s。

之后再执行脚本的时候就没有什么大问题了。

Python 相关文章推荐
python自动格式化json文件的方法
Mar 11 Python
python操作redis的方法
Jul 07 Python
python用pickle模块实现“增删改查”的简易功能
Jun 07 Python
Python Django给admin添加Action的方法实例详解
Apr 29 Python
实例详解python函数的对象、函数嵌套、名称空间和作用域
May 31 Python
Pandas之ReIndex重新索引的实现
Jun 25 Python
Python线程指南分享
Nov 19 Python
python3使用Pillow、tesseract-ocr与pytesseract模块的图片识别的方法
Feb 26 Python
python rolling regression. 使用 Python 实现滚动回归操作
Jun 08 Python
通过cmd进入python的步骤
Jun 16 Python
什么是python的必选参数
Jun 21 Python
一个入门级python爬虫教程详解
Jan 27 Python
Python set集合类型操作总结
Nov 07 #Python
数据挖掘之Apriori算法详解和Python实现代码分享
Nov 07 #Python
Python的subprocess模块总结
Nov 07 #Python
Python实现的监测服务器硬盘使用率脚本分享
Nov 07 #Python
Python实现的简单发送邮件脚本分享
Nov 07 #Python
Python获取Linux系统下的本机IP地址代码分享
Nov 07 #Python
零基础写python爬虫之使用Scrapy框架编写爬虫
Nov 07 #Python
You might like
深入解析PHP中的(伪)多线程与多进程
2013/07/01 PHP
php文件上传的简单实例
2013/10/19 PHP
微信公众平台天气预报功能开发
2014/07/06 PHP
如何在centos8自定义目录安装php7.3
2019/11/28 PHP
从JavaScript 到 JQuery (1)学习小结
2009/02/12 Javascript
判断客户端浏览器是否安装了Flash插件的多种方法
2010/08/11 Javascript
javascript实例分享---具有立体效果的图片特效
2014/06/08 Javascript
一段非常简单的js判断浏览器的内核
2014/08/17 Javascript
JavaScript使用function定义对象并调用的方法
2015/03/23 Javascript
JS实现光滑展开合拢的菜单效果代码
2015/09/16 Javascript
基于javascript bootstrap实现生日日期联动选择
2016/04/07 Javascript
bootstrap布局中input输入框右侧图标点击功能
2016/05/16 Javascript
vue中使用vue-router切换页面时滚动条自动滚动到顶部的方法
2017/11/28 Javascript
javacript replace 正则取字符串中的值并替换【推荐】
2018/09/13 Javascript
详解Axios统一错误处理与后置
2018/09/26 Javascript
基于webpack4.X从零搭建React脚手架的方法步骤
2018/12/23 Javascript
JS页面获取 session 值,作用域和闭包学习笔记
2019/10/16 Javascript
JavaScript中break、continue和return的用法区别实例分析
2020/03/02 Javascript
Echarts在Taro微信小程序开发中的踩坑记录
2020/11/09 Javascript
[46:44]DOTA2-DPC中国联赛 正赛 Ehome vs PSG.LGD BO3 第二场 3月7日
2021/03/11 DOTA
在Django框架中运行Python应用全攻略
2015/07/17 Python
Python分治法定义与应用实例详解
2017/07/28 Python
对Python3中dict.keys()转换成list类型的方法详解
2019/02/03 Python
与Django结合利用模型对上传图片预测的实例详解
2019/08/07 Python
20行Python代码实现视频字符化功能
2020/04/13 Python
python 双循环遍历list 变量判断代码
2020/05/04 Python
html5 css3网站菜单实现代码
2013/12/23 HTML / CSS
Lancome兰蔻官方旗舰店:来自法国的世界知名美妆品牌
2018/06/14 全球购物
英国健身超市:Fitness Superstore
2019/06/17 全球购物
大学生毕业自我评价范文分享
2013/11/11 职场文书
英语系本科生求职信
2014/07/15 职场文书
2014年食堂工作总结
2014/11/20 职场文书
高三复习计划
2015/01/19 职场文书
医院合作意向书范本
2015/05/08 职场文书
2015年小学语文工作总结
2015/05/25 职场文书
2019XX公司员工考核管理制度!
2019/08/07 职场文书