介绍Python的Urllib库的一些高级用法


Posted in Python onApril 30, 2015

1.设置Headers

有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性。

首先,打开我们的浏览器,调试浏览器F12,我用的是Chrome,打开网络监听,示意如下,比如知乎,点登录之后,我们会发现登陆之后界面都变化 了,出现一个新的界面,实质上这个页面包含了许许多多的内容,这些内容也不是一次性就加载完成的,实质上是执行了好多次请求,一般是首先请求HTML文 件,然后加载JS,CSS 等等,经过多次请求之后,网页的骨架和肌肉全了,整个网页的效果也就出来了。

介绍Python的Urllib库的一些高级用法

拆分这些请求,我们只看一第一个请求,你可以看到,有个Request URL,还有headers,下面便是response,图片显示得不全,小伙伴们可以亲身实验一下。那么这个头中包含了许许多多是信息,有文件编码啦,压缩方式啦,请求的agent啦等等。

其中,agent就是请求的身份,如果没有写入请求身份,那么服务器不一定会响应,所以可以在headers中设置agent,例如下面的例子,这个例子只是说明了怎样设置的headers,小伙伴们看一下设置格式就好。
 

import urllib 
import urllib2 
 
url = 'http://www.server.com/login'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 
values = {'username' : 'cqc', 'password' : 'XXXX' } 
headers = { 'User-Agent' : user_agent } 
data = urllib.urlencode(values) 
request = urllib2.Request(url, data, headers) 
response = urllib2.urlopen(request) 
page = response.read()

这样,我们设置了一个headers,在构建request时传入,在请求时,就加入了headers传送,服务器若识别了是浏览器发来的请求,就会得到响应。

另外,我们还有对付”反盗链”的方式,对付防盗链,服务器会识别headers中的referer是不是它自己,如果不是,有的服务器不会响应,所以我们还可以在headers中加入referer

例如我们可以构建下面的headers
 

headers = { 'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' ,
            'Referer':'http://www.zhihu.com/articles' }

同上面的方法,在传送请求时把headers传入Request参数里,这样就能应付防盗链了。

另外headers的一些属性,下面的需要特别注意一下:

  1.     User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
  2.     Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。
  3.     application/xml : 在 XML RPC,如 RESTful/SOAP 调用时使用
  4.     application/json : 在 JSON RPC 调用时使用
  5.     application/x-www-form-urlencoded : 浏览器提交 Web 表单时使用
  6.     在使用服务器提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致服务器拒绝服务

其他的有必要的可以审查浏览器的headers内容,在构建时写入同样的数据即可。
2. Proxy(代理)的设置

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。假如一个网站它会检测某一段时间某个IP 的访问次数,如果访问次数过多,它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作,每隔一段时间换一个代理,网站君都不知道是谁在捣鬼了,这酸爽!

下面一段代码说明了代理的设置用法
 

import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
  opener = urllib2.build_opener(proxy_handler)
else:
  opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)

3.Timeout 设置

上一节已经说过urlopen方法了,第三个参数就是timeout的设置,可以设置等待多久超时,为了解决一些网站实在响应过慢而造成的影响。

例如下面的代码,如果第二个参数data为空那么要特别指定是timeout是多少,写明形参,如果data已经传入,则不必声明。
 

import urllib2
response = urllib2.urlopen('http://www.baidu.com', timeout=10)
 
import urllib2
response = urllib2.urlopen('http://www.baidu.com',data, 10)

4.使用 HTTP 的 PUT 和 DELETE 方法

http协议有六种请求方法,get,head,put,delete,post,options,我们有时候需要用到PUT方式或者DELETE方式请求。

    PUT:这个方法比较少见。HTML表单也不支持这个。本质上来讲, PUT和POST极为相似,都是向服务器发送数据,但它们之间有一个重要区别,PUT通常指定了资源的存放位置,而POST则没有,POST的数据存放位置由服务器自己决定。
    DELETE:删除某一个资源。基本上这个也很少见,不过还是有一些地方比如amazon的S3云服务里面就用的这个方法来删除资源。

如果要使用 HTTP PUT 和 DELETE ,只能使用比较低层的 httplib 库。虽然如此,我们还是能通过下面的方式,使 urllib2 能够发出 PUT 或DELETE 的请求,不过用的次数的确是少,在这里提一下。
 

import urllib2
request = urllib2.Request(uri, data=data)
request.get_method = lambda: 'PUT' # or 'DELETE'
response = urllib2.urlopen(request)

5.使用DebugLog

可以通过下面的方法把 Debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便调试,这个也不太常用,仅提一下

 

import urllib2
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
response = urllib2.urlopen('http://www.baidu.com')

以上便是一部分高级特性,前三个是重要内容,在后面,还有cookies的设置还有异常的处理,小伙伴们加油!

Python 相关文章推荐
Python实现的数据结构与算法之双端队列详解
Apr 22 Python
Python 常用的安装Module方式汇总
May 06 Python
python实现发送邮件功能
Jul 22 Python
django的聚合函数和aggregate、annotate方法使用详解
Jul 23 Python
python3.6 tkinter实现屏保小程序
Jul 30 Python
python中如何实现将数据分成训练集与测试集的方法
Sep 13 Python
python 实现二维字典的键值合并等函数
Dec 06 Python
PyQt5实现简单的计算器
May 30 Python
pycharm 对代码做静态检查操作
Jun 09 Python
Python魔术方法专题
Jun 19 Python
python 下划线的不同用法
Oct 24 Python
用Python实现屏幕截图详解
Jan 22 Python
python插入数据到列表的方法
Apr 30 #Python
Python的Urllib库的基本使用教程
Apr 30 #Python
python获取当前日期和时间的方法
Apr 30 #Python
python实现TCP服务器端与客户端的方法详解
Apr 30 #Python
python排序方法实例分析
Apr 30 #Python
python中lambda与def用法对比实例分析
Apr 30 #Python
python中self原理实例分析
Apr 30 #Python
You might like
Window 7/XP 安装Apache 2.4与PHP 5.4 的过程详解
2013/06/02 PHP
WordPress后台中实现图片上传功能的实例讲解
2016/01/11 PHP
php修改数组键名的方法示例
2017/04/15 PHP
Laravel5.1 框架路由基础详解
2020/01/04 PHP
30个最佳jQuery Lightbox效果插件分享
2011/04/11 Javascript
jquery实现手风琴效果实例代码
2013/11/15 Javascript
JavaScript中计算网页中某个元素的位置
2015/06/10 Javascript
jQuery取得iframe中元素的常用方法详解
2016/01/14 Javascript
javascript解决小数的加减乘除精度丢失的方案
2016/05/31 Javascript
懒加载实现的分页&&网站footer自适应
2016/12/21 Javascript
js实现添加删除表格(两种方法)
2017/04/27 Javascript
Mongoose中document与object的区别示例详解
2017/09/18 Javascript
jquery中done和then的区别(详解)
2017/12/19 jQuery
vue2单元测试环境搭建
2018/05/24 Javascript
详解vue-cli 本地开发mock数据使用方法
2018/05/29 Javascript
js实现json数组分组合并操作示例
2019/02/12 Javascript
简单了解小程序+node梳理登陆流程
2019/06/24 Javascript
jquery ui 实现 tab标签功能示例【测试可用】
2019/07/25 jQuery
Python模块学习 datetime介绍
2012/08/27 Python
python二叉树遍历的实现方法
2013/11/21 Python
决策树的python实现方法
2014/11/18 Python
python 中random模块的常用方法总结
2017/07/08 Python
详解如何为eclipse安装合适版本的python插件pydev
2018/11/04 Python
Python字符串中删除特定字符的方法
2020/01/15 Python
python能在浏览器能运行吗
2020/06/17 Python
python tqdm库的使用
2020/11/30 Python
H5新属性audio音频和video视频的控制详解(推荐)
2016/12/09 HTML / CSS
致100米运动员广播稿
2014/02/14 职场文书
三万活动总结
2014/04/28 职场文书
建筑工地标语
2014/06/18 职场文书
小学数学教研活动总结
2014/07/01 职场文书
党员干部民主生活会议批评与自我批评材料
2014/09/20 职场文书
工作批评与自我批评范文
2014/10/16 职场文书
初中毕业生自我评价
2015/03/02 职场文书
教师培训简讯
2015/07/20 职场文书
团支部组织委员竞选稿
2015/11/21 职场文书