介绍Python的Urllib库的一些高级用法


Posted in Python onApril 30, 2015

1.设置Headers

有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性。

首先,打开我们的浏览器,调试浏览器F12,我用的是Chrome,打开网络监听,示意如下,比如知乎,点登录之后,我们会发现登陆之后界面都变化 了,出现一个新的界面,实质上这个页面包含了许许多多的内容,这些内容也不是一次性就加载完成的,实质上是执行了好多次请求,一般是首先请求HTML文 件,然后加载JS,CSS 等等,经过多次请求之后,网页的骨架和肌肉全了,整个网页的效果也就出来了。

介绍Python的Urllib库的一些高级用法

拆分这些请求,我们只看一第一个请求,你可以看到,有个Request URL,还有headers,下面便是response,图片显示得不全,小伙伴们可以亲身实验一下。那么这个头中包含了许许多多是信息,有文件编码啦,压缩方式啦,请求的agent啦等等。

其中,agent就是请求的身份,如果没有写入请求身份,那么服务器不一定会响应,所以可以在headers中设置agent,例如下面的例子,这个例子只是说明了怎样设置的headers,小伙伴们看一下设置格式就好。
 

import urllib 
import urllib2 
 
url = 'http://www.server.com/login'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 
values = {'username' : 'cqc', 'password' : 'XXXX' } 
headers = { 'User-Agent' : user_agent } 
data = urllib.urlencode(values) 
request = urllib2.Request(url, data, headers) 
response = urllib2.urlopen(request) 
page = response.read()

这样,我们设置了一个headers,在构建request时传入,在请求时,就加入了headers传送,服务器若识别了是浏览器发来的请求,就会得到响应。

另外,我们还有对付”反盗链”的方式,对付防盗链,服务器会识别headers中的referer是不是它自己,如果不是,有的服务器不会响应,所以我们还可以在headers中加入referer

例如我们可以构建下面的headers
 

headers = { 'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' ,
            'Referer':'http://www.zhihu.com/articles' }

同上面的方法,在传送请求时把headers传入Request参数里,这样就能应付防盗链了。

另外headers的一些属性,下面的需要特别注意一下:

  1.     User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
  2.     Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。
  3.     application/xml : 在 XML RPC,如 RESTful/SOAP 调用时使用
  4.     application/json : 在 JSON RPC 调用时使用
  5.     application/x-www-form-urlencoded : 浏览器提交 Web 表单时使用
  6.     在使用服务器提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致服务器拒绝服务

其他的有必要的可以审查浏览器的headers内容,在构建时写入同样的数据即可。
2. Proxy(代理)的设置

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。假如一个网站它会检测某一段时间某个IP 的访问次数,如果访问次数过多,它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作,每隔一段时间换一个代理,网站君都不知道是谁在捣鬼了,这酸爽!

下面一段代码说明了代理的设置用法
 

import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
  opener = urllib2.build_opener(proxy_handler)
else:
  opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)

3.Timeout 设置

上一节已经说过urlopen方法了,第三个参数就是timeout的设置,可以设置等待多久超时,为了解决一些网站实在响应过慢而造成的影响。

例如下面的代码,如果第二个参数data为空那么要特别指定是timeout是多少,写明形参,如果data已经传入,则不必声明。
 

import urllib2
response = urllib2.urlopen('http://www.baidu.com', timeout=10)
 
import urllib2
response = urllib2.urlopen('http://www.baidu.com',data, 10)

4.使用 HTTP 的 PUT 和 DELETE 方法

http协议有六种请求方法,get,head,put,delete,post,options,我们有时候需要用到PUT方式或者DELETE方式请求。

    PUT:这个方法比较少见。HTML表单也不支持这个。本质上来讲, PUT和POST极为相似,都是向服务器发送数据,但它们之间有一个重要区别,PUT通常指定了资源的存放位置,而POST则没有,POST的数据存放位置由服务器自己决定。
    DELETE:删除某一个资源。基本上这个也很少见,不过还是有一些地方比如amazon的S3云服务里面就用的这个方法来删除资源。

如果要使用 HTTP PUT 和 DELETE ,只能使用比较低层的 httplib 库。虽然如此,我们还是能通过下面的方式,使 urllib2 能够发出 PUT 或DELETE 的请求,不过用的次数的确是少,在这里提一下。
 

import urllib2
request = urllib2.Request(uri, data=data)
request.get_method = lambda: 'PUT' # or 'DELETE'
response = urllib2.urlopen(request)

5.使用DebugLog

可以通过下面的方法把 Debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便调试,这个也不太常用,仅提一下

 

import urllib2
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
response = urllib2.urlopen('http://www.baidu.com')

以上便是一部分高级特性,前三个是重要内容,在后面,还有cookies的设置还有异常的处理,小伙伴们加油!

Python 相关文章推荐
Python使用百度API上传文件到百度网盘代码分享
Nov 08 Python
python判断一个集合是否包含了另外一个集合中所有项的方法
Jun 30 Python
Django实现自定义404,500页面教程
Mar 26 Python
python下载图片实现方法(超简单)
Jul 21 Python
将tensorflow的ckpt模型存储为npy的实例
Jul 09 Python
使用Python如何测试InnoDB与MyISAM的读写性能
Sep 18 Python
python实现词法分析器
Jan 31 Python
Python实现的IP端口扫描工具类示例
Feb 15 Python
python3编写ThinkPHP命令执行Getshell的方法
Feb 26 Python
Anaconda配置pytorch-gpu虚拟环境的图文教程
Apr 16 Python
如何把python项目部署到linux服务器
Aug 26 Python
Scrapy+Selenium自动获取cookie爬取网易云音乐个人喜爱歌单
Feb 01 Python
python插入数据到列表的方法
Apr 30 #Python
Python的Urllib库的基本使用教程
Apr 30 #Python
python获取当前日期和时间的方法
Apr 30 #Python
python实现TCP服务器端与客户端的方法详解
Apr 30 #Python
python排序方法实例分析
Apr 30 #Python
python中lambda与def用法对比实例分析
Apr 30 #Python
python中self原理实例分析
Apr 30 #Python
You might like
php下过滤HTML代码的函数
2007/12/10 PHP
PHP开源开发框架ZendFramework使用中常见问题说明及解决方案
2014/06/12 PHP
学习php中的正则表达式
2014/08/17 PHP
PHP+MYSQL实现用户的增删改查
2015/03/24 PHP
从Ajax到JQuery Ajax学习
2007/02/14 Javascript
js返回上一页并刷新代码整理
2012/12/21 Javascript
浅析Node在构建超媒体API中的作用
2014/07/30 Javascript
jQuery取消ajax请求的方法
2015/06/09 Javascript
jquery计算鼠标和指定元素之间距离的方法
2015/06/26 Javascript
JS变量及其作用域
2017/03/29 Javascript
xmlplus组件设计系列之选项卡(Tabbar)(5)
2017/05/03 Javascript
讲解vue-router之什么是动态路由
2018/05/28 Javascript
iconfont的三种使用方式详解
2018/08/05 Javascript
fastadmin中调用js的方法
2019/05/14 Javascript
vue + axios get下载文件功能
2019/09/25 Javascript
vue 在服务器端直接修改请求的接口地址
2020/12/19 Vue.js
老生常谈python之鸭子类和多态
2017/06/13 Python
django_orm查询性能优化方法
2018/08/20 Python
浅谈Python中的bs4基础
2018/10/21 Python
Python实现某论坛自动签到功能
2019/08/20 Python
django中使用事务及接入支付宝支付功能
2019/09/15 Python
Python第三方包之DingDingBot钉钉机器人
2020/04/09 Python
Python连接Mysql进行增删改查的示例代码
2020/08/03 Python
Python高并发和多线程有什么关系
2020/11/14 Python
HTML5中外部浏览器唤起微信分享功能的代码
2020/09/15 HTML / CSS
SportsDirect.com新加坡:英国第一体育零售商
2019/03/30 全球购物
乐高西班牙官方商店:LEGO Shop ES
2019/12/01 全球购物
大气污染防治方案
2014/05/19 职场文书
安全生产一岗双责责任书
2014/07/28 职场文书
公司员工活动策划方案
2014/08/20 职场文书
党员学习中共十八大思想报告
2014/09/12 职场文书
2014年专项整治工作总结
2014/11/17 职场文书
社区六一儿童节活动总结
2015/02/11 职场文书
2015年社区民政工作总结
2015/04/21 职场文书
用Python编写简单的gRPC服务的详细过程
2021/07/04 Python
一篇文章告诉你如何实现Vue前端分页和后端分页
2022/02/18 Vue.js