介绍Python的Urllib库的一些高级用法


Posted in Python onApril 30, 2015

1.设置Headers

有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性。

首先,打开我们的浏览器,调试浏览器F12,我用的是Chrome,打开网络监听,示意如下,比如知乎,点登录之后,我们会发现登陆之后界面都变化 了,出现一个新的界面,实质上这个页面包含了许许多多的内容,这些内容也不是一次性就加载完成的,实质上是执行了好多次请求,一般是首先请求HTML文 件,然后加载JS,CSS 等等,经过多次请求之后,网页的骨架和肌肉全了,整个网页的效果也就出来了。

介绍Python的Urllib库的一些高级用法

拆分这些请求,我们只看一第一个请求,你可以看到,有个Request URL,还有headers,下面便是response,图片显示得不全,小伙伴们可以亲身实验一下。那么这个头中包含了许许多多是信息,有文件编码啦,压缩方式啦,请求的agent啦等等。

其中,agent就是请求的身份,如果没有写入请求身份,那么服务器不一定会响应,所以可以在headers中设置agent,例如下面的例子,这个例子只是说明了怎样设置的headers,小伙伴们看一下设置格式就好。
 

import urllib 
import urllib2 
 
url = 'http://www.server.com/login'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 
values = {'username' : 'cqc', 'password' : 'XXXX' } 
headers = { 'User-Agent' : user_agent } 
data = urllib.urlencode(values) 
request = urllib2.Request(url, data, headers) 
response = urllib2.urlopen(request) 
page = response.read()

这样,我们设置了一个headers,在构建request时传入,在请求时,就加入了headers传送,服务器若识别了是浏览器发来的请求,就会得到响应。

另外,我们还有对付”反盗链”的方式,对付防盗链,服务器会识别headers中的referer是不是它自己,如果不是,有的服务器不会响应,所以我们还可以在headers中加入referer

例如我们可以构建下面的headers
 

headers = { 'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' ,
            'Referer':'http://www.zhihu.com/articles' }

同上面的方法,在传送请求时把headers传入Request参数里,这样就能应付防盗链了。

另外headers的一些属性,下面的需要特别注意一下:

  1.     User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
  2.     Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。
  3.     application/xml : 在 XML RPC,如 RESTful/SOAP 调用时使用
  4.     application/json : 在 JSON RPC 调用时使用
  5.     application/x-www-form-urlencoded : 浏览器提交 Web 表单时使用
  6.     在使用服务器提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致服务器拒绝服务

其他的有必要的可以审查浏览器的headers内容,在构建时写入同样的数据即可。
2. Proxy(代理)的设置

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。假如一个网站它会检测某一段时间某个IP 的访问次数,如果访问次数过多,它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作,每隔一段时间换一个代理,网站君都不知道是谁在捣鬼了,这酸爽!

下面一段代码说明了代理的设置用法
 

import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
  opener = urllib2.build_opener(proxy_handler)
else:
  opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)

3.Timeout 设置

上一节已经说过urlopen方法了,第三个参数就是timeout的设置,可以设置等待多久超时,为了解决一些网站实在响应过慢而造成的影响。

例如下面的代码,如果第二个参数data为空那么要特别指定是timeout是多少,写明形参,如果data已经传入,则不必声明。
 

import urllib2
response = urllib2.urlopen('http://www.baidu.com', timeout=10)
 
import urllib2
response = urllib2.urlopen('http://www.baidu.com',data, 10)

4.使用 HTTP 的 PUT 和 DELETE 方法

http协议有六种请求方法,get,head,put,delete,post,options,我们有时候需要用到PUT方式或者DELETE方式请求。

    PUT:这个方法比较少见。HTML表单也不支持这个。本质上来讲, PUT和POST极为相似,都是向服务器发送数据,但它们之间有一个重要区别,PUT通常指定了资源的存放位置,而POST则没有,POST的数据存放位置由服务器自己决定。
    DELETE:删除某一个资源。基本上这个也很少见,不过还是有一些地方比如amazon的S3云服务里面就用的这个方法来删除资源。

如果要使用 HTTP PUT 和 DELETE ,只能使用比较低层的 httplib 库。虽然如此,我们还是能通过下面的方式,使 urllib2 能够发出 PUT 或DELETE 的请求,不过用的次数的确是少,在这里提一下。
 

import urllib2
request = urllib2.Request(uri, data=data)
request.get_method = lambda: 'PUT' # or 'DELETE'
response = urllib2.urlopen(request)

5.使用DebugLog

可以通过下面的方法把 Debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便调试,这个也不太常用,仅提一下

 

import urllib2
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
response = urllib2.urlopen('http://www.baidu.com')

以上便是一部分高级特性,前三个是重要内容,在后面,还有cookies的设置还有异常的处理,小伙伴们加油!

Python 相关文章推荐
python线程池threadpool使用篇
Apr 27 Python
python字符串string的内置方法实例详解
May 14 Python
Python3使用turtle绘制超立方体图形示例
Jun 19 Python
python实现在遍历列表时,直接对dict元素增加字段的方法
Jan 15 Python
详解Python正则表达式re模块
Mar 19 Python
python算法题 链表反转详解
Jul 02 Python
python基于FTP实现文件传输相关功能代码实例
Sep 28 Python
Python中filter与lambda的结合使用详解
Dec 24 Python
Python捕获异常堆栈信息的几种方法(小结)
May 18 Python
Python StringIO及BytesIO包使用方法解析
Jun 15 Python
Python进行特征提取的示例代码
Oct 15 Python
python获得命令行输入的参数的两种方式
Nov 02 Python
python插入数据到列表的方法
Apr 30 #Python
Python的Urllib库的基本使用教程
Apr 30 #Python
python获取当前日期和时间的方法
Apr 30 #Python
python实现TCP服务器端与客户端的方法详解
Apr 30 #Python
python排序方法实例分析
Apr 30 #Python
python中lambda与def用法对比实例分析
Apr 30 #Python
python中self原理实例分析
Apr 30 #Python
You might like
php抽象类使用要点与注意事项分析
2015/02/09 PHP
thinkPHP5.0框架命名空间详解
2017/03/18 PHP
javascript 字符 Escape,encodeURI,encodeURIComponent
2009/07/09 Javascript
js 屏蔽鼠标右键脚本附破解方法
2009/12/03 Javascript
使用dynatrace-ajax跟踪JavaScript的性能
2010/04/12 Javascript
js 弹出新页面避免被浏览器、ad拦截的一种新方法
2014/04/30 Javascript
jQuery支持动态参数将函数绑定到事件上的方法
2015/03/17 Javascript
利用AngularJs实现京东首页轮播图效果
2016/09/08 Javascript
AngularJS中$apply方法和$watch方法用法总结
2016/12/13 Javascript
关于Angular2 + node接口调试的解决方案
2017/05/28 Javascript
JS 60秒后重新发送验证码的实例讲解
2017/07/26 Javascript
Vue单文件组件基础模板小结
2017/08/10 Javascript
VSCode 配置React Native开发环境的方法
2017/12/27 Javascript
js实现旋转木马轮播图效果
2020/01/10 Javascript
Vue脚手架编写试卷页面功能
2020/03/17 Javascript
云服务器部署Node.js项目的方法步骤(小白系列)
2020/03/23 Javascript
vue项目中使用bpmn为节点添加颜色的方法
2020/04/30 Javascript
怎么理解wx.navigateTo的events参数使用详情
2020/05/18 Javascript
vue 修改 data 数据问题并实时显示操作
2020/09/07 Javascript
[05:05]第三天的dota2
2013/07/29 DOTA
[27:53]2014 DOTA2华西杯精英邀请赛 5 24 NewBee VS iG
2014/05/26 DOTA
Django获取应用下的所有models的例子
2019/08/30 Python
pytorch的梯度计算以及backward方法详解
2020/01/10 Python
pytorch程序异常后删除占用的显存操作
2020/01/13 Python
Python中求对数方法总结
2020/03/10 Python
Python3 socket即时通讯脚本实现代码实例(threading多线程)
2020/06/01 Python
python 决策树算法的实现
2020/10/09 Python
解决python 在for循环并且pop数组的时候会跳过某些元素的问题
2020/12/11 Python
Html5 new XMLHttpRequest()监听附件上传进度
2021/01/14 HTML / CSS
乐天旅游香港网站:日本饭店预订
2017/11/29 全球购物
用Java语言将一个键盘输入的数字转化成中文输出
2013/01/25 面试题
软件工程毕业生自荐信
2014/07/04 职场文书
网络管理员岗位职责
2015/02/12 职场文书
环保建议书作文300字
2015/09/14 职场文书
2016年共产党员个人承诺书
2016/03/24 职场文书
golang内置函数len的小技巧
2021/07/25 Golang