零基础写python爬虫之urllib2使用指南


Posted in Python onNovember 05, 2014

前面说到了urllib2的简单入门,下面整理了一部分urllib2的使用细节。

1.Proxy 的设置

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。
如果想在程序中明确控制 Proxy 而不受环境变量的影响,可以使用代理。
新建test14来实现一个简单的代理Demo:

import urllib2  

enable_proxy = True  

proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})  

null_proxy_handler = urllib2.ProxyHandler({})  

if enable_proxy:  

    opener = urllib2.build_opener(proxy_handler)  

else:  

    opener = urllib2.build_opener(null_proxy_handler)  

urllib2.install_opener(opener) 

这里要注意的一个细节,使用 urllib2.install_opener() 会设置 urllib2 的全局 opener 。
这样后面的使用会很方便,但不能做更细致的控制,比如想在程序中使用两个不同的 Proxy 设置等。
比较好的做法是不使用 install_opener 去更改全局的设置,而只是直接调用 opener 的 open 方法代替全局的 urlopen 方法。

2.Timeout 设置

在老版 Python 中(Python2.6前),urllib2 的 API 并没有暴露 Timeout 的设置,要设置 Timeout 值,只能更改 Socket 的全局 Timeout 值。

import urllib2  

import socket  

socket.setdefaulttimeout(10) # 10 秒钟后超时  

urllib2.socket.setdefaulttimeout(10) # 另一种方式 

在 Python 2.6 以后,超时可以通过 urllib2.urlopen() 的 timeout 参数直接设置。

import urllib2  

response = urllib2.urlopen('http://www.google.com', timeout=10) 

3.在 HTTP Request 中加入特定的 Header

要加入 header,需要使用 Request 对象:

import urllib2  

request = urllib2.Request('http://www.baidu.com/')  

request.add_header('User-Agent', 'fake-client')  

response = urllib2.urlopen(request)  

print response.read() 

对有些 header 要特别留意,服务器会针对这些 header 做检查
User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。常见的取值有:
application/xml : 在 XML RPC,如 RESTful/SOAP 调用时使用
application/json : 在 JSON RPC 调用时使用
application/x-www-form-urlencoded : 浏览器提交 Web 表单时使用
在使用服务器提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致服务器拒绝服务

4.Redirect

urllib2 默认情况下会针对 HTTP 3XX 返回码自动进行 redirect 动作,无需人工配置。要检测是否发生了 redirect 动作,只要检查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。

import urllib2  

my_url = 'http://www.google.cn'  

response = urllib2.urlopen(my_url)  

redirected = response.geturl() == my_url  

print redirected  

my_url = 'http://rrurl.cn/b1UZuP'  

response = urllib2.urlopen(my_url)  

redirected = response.geturl() == my_url  

print redirected 

如果不想自动 redirect,除了使用更低层次的 httplib 库之外,还可以自定义HTTPRedirectHandler 类。

import urllib2  

class RedirectHandler(urllib2.HTTPRedirectHandler):  

    def http_error_301(self, req, fp, code, msg, headers):  

        print "301"  

        pass  

    def http_error_302(self, req, fp, code, msg, headers):  

        print "303"  

        pass   

opener = urllib2.build_opener(RedirectHandler)  

opener.open('http://rrurl.cn/b1UZuP') 

5.Cookie

urllib2 对 Cookie 的处理也是自动的。如果需要得到某个 Cookie 项的值,可以这么做:

import urllib2  

import cookielib  

cookie = cookielib.CookieJar()  

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))  

response = opener.open('http://www.baidu.com')  

for item in cookie:  

    print 'Name = '+item.name  

    print 'Value = '+item.value 

运行之后就会输出访问百度的Cookie值:

零基础写python爬虫之urllib2使用指南

6.使用 HTTP 的 PUT 和 DELETE 方法

urllib2 只支持 HTTP 的 GET 和 POST 方法,如果要使用 HTTP PUT 和 DELETE ,只能使用比较低层的 httplib 库。虽然如此,我们还是能通过下面的方式,使 urllib2 能够发出 PUT 或DELETE 的请求:

import urllib2  

request = urllib2.Request(uri, data=data)  

request.get_method = lambda: 'PUT' # or 'DELETE'  

response = urllib2.urlopen(request) 

7.得到 HTTP 的返回码

对于 200 OK 来说,只要使用 urlopen 返回的 response 对象的 getcode() 方法就可以得到 HTTP 的返回码。但对其它返回码来说,urlopen 会抛出异常。这时候,就要检查异常对象的 code 属性了:

import urllib2  

try:  

    response = urllib2.urlopen('http://bbs.csdn.net/why')  

except urllib2.HTTPError, e:  

    print e.code 

8.Debug Log

使用 urllib2 时,可以通过下面的方法把 debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便调试,有时可以省去抓包的工作

import urllib2  

httpHandler = urllib2.HTTPHandler(debuglevel=1)  

httpsHandler = urllib2.HTTPSHandler(debuglevel=1)  

opener = urllib2.build_opener(httpHandler, httpsHandler)  

urllib2.install_opener(opener)  

response = urllib2.urlopen('http://www.google.com') 

这样就可以看到传输的数据包内容了:

零基础写python爬虫之urllib2使用指南

9.表单的处理

登录必要填表,表单怎么填?
首先利用工具截取所要填表的内容。
比如我一般用firefox+httpfox插件来看看自己到底发送了些什么包。
以verycd为例,先找到自己发的POST请求,以及POST表单项。
可以看到verycd的话需要填username,password,continueURI,fk,login_submit这几项,其中fk是随机生成的(其实不太随机,看上去像是把epoch时间经过简单的编码生成的),需要从网页获取,也就是说得先访问一次网页,用正则表达式等工具截取返回数据中的fk项。continueURI顾名思义可以随便写,login_submit是固定的,这从源码可以看出。还有username,password那就很显然了:

# -*- coding: utf-8 -*-  

import urllib  

import urllib2  

postdata=urllib.urlencode({  

    'username':'汪小光',  

    'password':'why888',  

    'continueURI':'http://www.verycd.com/',  

    'fk':'',  

    'login_submit':'登录'  

})  

req = urllib2.Request(  

    url = 'http://secure.verycd.com/signin',  

    data = postdata  

)  

result = urllib2.urlopen(req)  

print result.read()  

10.伪装成浏览器访问

某些网站反感爬虫的到访,于是对爬虫一律拒绝请求
这时候我们需要伪装成浏览器,这可以通过修改http包中的header来实现

#…  

  

headers = {  

    'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'  

}  

req = urllib2.Request(  

    url = 'http://secure.verycd.com/signin/*/http://www.verycd.com/',  

    data = postdata,  

    headers = headers  

)  

#... 

11.对付"反盗链"

某些站点有所谓的反盗链设置,其实说穿了很简单,
就是检查你发送请求的header里面,referer站点是不是他自己,
所以我们只需要像把headers的referer改成该网站即可,以cnbeta为例:
#...
headers = {
    'Referer':'http://www.cnbeta.com/articles'
}
#...
headers是一个dict数据结构,你可以放入任何想要的header,来做一些伪装。
例如,有些网站喜欢读取header中的X-Forwarded-For来看看人家的真实IP,可以直接把X-Forwarde-For改了。

Python 相关文章推荐
python中常用的各种数据库操作模块和连接实例
May 29 Python
详解Python中映射类型的内建函数和工厂函数
Aug 19 Python
python发送邮件实例分享
Jul 28 Python
Python使用修饰器执行函数的参数检查功能示例
Sep 26 Python
python绘制双柱形图代码实例
Dec 14 Python
pandas的object对象转时间对象的方法
Apr 11 Python
Python爬虫常用小技巧之设置代理IP
Sep 13 Python
Python代码打开本地.mp4格式文件的方法
Jan 03 Python
简单了解python代码优化小技巧
Jul 08 Python
PyQt 图解Qt Designer工具的使用方法
Aug 06 Python
python BlockingScheduler定时任务及其他方式的实现
Sep 19 Python
使用Python paramiko模块利用多线程实现ssh并发执行操作
Dec 05 Python
零基础写python爬虫之urllib2中的两个重要概念:Openers和Handlers
Nov 05 #Python
零基础写python爬虫之HTTP异常处理
Nov 05 #Python
零基础写python爬虫之使用urllib2组件抓取网页内容
Nov 04 #Python
零基础写python爬虫之爬虫的定义及URL构成
Nov 04 #Python
使用Python编写简单网络爬虫抓取视频下载资源
Nov 04 #Python
Python爬取Coursera课程资源的详细过程
Nov 04 #Python
使用python开发vim插件及心得分享
Nov 04 #Python
You might like
PHP Ajax中文乱码问题解决方法
2009/02/27 PHP
解析php多线程下载远程多个文件
2013/06/25 PHP
php下Memcached入门实例解析
2015/01/05 PHP
PHP会话处理的10个函数
2015/08/11 PHP
php中namespace use用法实例分析
2016/01/22 PHP
在Mac OS下搭建LNMP开发环境的步骤详解
2017/03/10 PHP
PHP读取目录树的实现方法分析
2019/03/22 PHP
Yii框架响应组件用法实例分析
2019/09/04 PHP
基于jquery的15款幻灯片插件
2011/04/10 Javascript
jquery获取特定name所有选中的checkbox,支持IE9标准模式
2013/03/18 Javascript
基于jQuery实现火焰灯效果导航菜单
2017/01/04 Javascript
bootstrap+jQuery实现的动态进度条功能示例
2017/05/25 jQuery
JavaScript实现职责链模式概述
2018/01/25 Javascript
JavaScript生成指定范围的时间列表
2018/03/19 Javascript
Nodejs模块的调用操作实例分析
2018/12/25 NodeJs
详解element-ui中表单验证的三种方式
2019/09/18 Javascript
ES6新增的数组知识实例小结
2020/05/23 Javascript
python中将阿拉伯数字转换成中文的实现代码
2011/05/19 Python
python里将list中元素依次向前移动一位
2014/09/12 Python
python正则表达式及使用正则表达式的例子
2018/01/22 Python
python机器学习之贝叶斯分类
2018/03/26 Python
Python数据可视化之画图
2019/01/15 Python
python获取交互式ssh shell的方法
2019/02/14 Python
有影响力的人、名人和艺术家的官方商品:Represent
2019/11/26 全球购物
设计毕业生简历中的自我评价
2013/10/01 职场文书
跟单文员岗位职责
2014/01/03 职场文书
工厂总经理岗位职责
2014/02/07 职场文书
工商企业管理应届生求职信
2014/05/04 职场文书
完美的中文自荐信
2014/05/24 职场文书
法人委托书范本格式
2014/09/15 职场文书
退学证明范本3篇
2014/10/29 职场文书
高中同学会致辞
2015/08/01 职场文书
2017寒假社会实践心得体会范文
2016/01/14 职场文书
Requests什么的通通爬不了的Python超强反爬虫方案!
2021/05/20 Python
pytorch 如何把图像数据集进行划分成train,test和val
2021/05/31 Python
windows11怎么查看自己安装的版本号? win11版本号的查看方法
2021/11/21 数码科技