零基础写python爬虫之urllib2使用指南


Posted in Python onNovember 05, 2014

前面说到了urllib2的简单入门,下面整理了一部分urllib2的使用细节。

1.Proxy 的设置

urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。
如果想在程序中明确控制 Proxy 而不受环境变量的影响,可以使用代理。
新建test14来实现一个简单的代理Demo:

import urllib2  

enable_proxy = True  

proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})  

null_proxy_handler = urllib2.ProxyHandler({})  

if enable_proxy:  

    opener = urllib2.build_opener(proxy_handler)  

else:  

    opener = urllib2.build_opener(null_proxy_handler)  

urllib2.install_opener(opener) 

这里要注意的一个细节,使用 urllib2.install_opener() 会设置 urllib2 的全局 opener 。
这样后面的使用会很方便,但不能做更细致的控制,比如想在程序中使用两个不同的 Proxy 设置等。
比较好的做法是不使用 install_opener 去更改全局的设置,而只是直接调用 opener 的 open 方法代替全局的 urlopen 方法。

2.Timeout 设置

在老版 Python 中(Python2.6前),urllib2 的 API 并没有暴露 Timeout 的设置,要设置 Timeout 值,只能更改 Socket 的全局 Timeout 值。

import urllib2  

import socket  

socket.setdefaulttimeout(10) # 10 秒钟后超时  

urllib2.socket.setdefaulttimeout(10) # 另一种方式 

在 Python 2.6 以后,超时可以通过 urllib2.urlopen() 的 timeout 参数直接设置。

import urllib2  

response = urllib2.urlopen('http://www.google.com', timeout=10) 

3.在 HTTP Request 中加入特定的 Header

要加入 header,需要使用 Request 对象:

import urllib2  

request = urllib2.Request('http://www.baidu.com/')  

request.add_header('User-Agent', 'fake-client')  

response = urllib2.urlopen(request)  

print response.read() 

对有些 header 要特别留意,服务器会针对这些 header 做检查
User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。常见的取值有:
application/xml : 在 XML RPC,如 RESTful/SOAP 调用时使用
application/json : 在 JSON RPC 调用时使用
application/x-www-form-urlencoded : 浏览器提交 Web 表单时使用
在使用服务器提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致服务器拒绝服务

4.Redirect

urllib2 默认情况下会针对 HTTP 3XX 返回码自动进行 redirect 动作,无需人工配置。要检测是否发生了 redirect 动作,只要检查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。

import urllib2  

my_url = 'http://www.google.cn'  

response = urllib2.urlopen(my_url)  

redirected = response.geturl() == my_url  

print redirected  

my_url = 'http://rrurl.cn/b1UZuP'  

response = urllib2.urlopen(my_url)  

redirected = response.geturl() == my_url  

print redirected 

如果不想自动 redirect,除了使用更低层次的 httplib 库之外,还可以自定义HTTPRedirectHandler 类。

import urllib2  

class RedirectHandler(urllib2.HTTPRedirectHandler):  

    def http_error_301(self, req, fp, code, msg, headers):  

        print "301"  

        pass  

    def http_error_302(self, req, fp, code, msg, headers):  

        print "303"  

        pass   

opener = urllib2.build_opener(RedirectHandler)  

opener.open('http://rrurl.cn/b1UZuP') 

5.Cookie

urllib2 对 Cookie 的处理也是自动的。如果需要得到某个 Cookie 项的值,可以这么做:

import urllib2  

import cookielib  

cookie = cookielib.CookieJar()  

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))  

response = opener.open('http://www.baidu.com')  

for item in cookie:  

    print 'Name = '+item.name  

    print 'Value = '+item.value 

运行之后就会输出访问百度的Cookie值:

零基础写python爬虫之urllib2使用指南

6.使用 HTTP 的 PUT 和 DELETE 方法

urllib2 只支持 HTTP 的 GET 和 POST 方法,如果要使用 HTTP PUT 和 DELETE ,只能使用比较低层的 httplib 库。虽然如此,我们还是能通过下面的方式,使 urllib2 能够发出 PUT 或DELETE 的请求:

import urllib2  

request = urllib2.Request(uri, data=data)  

request.get_method = lambda: 'PUT' # or 'DELETE'  

response = urllib2.urlopen(request) 

7.得到 HTTP 的返回码

对于 200 OK 来说,只要使用 urlopen 返回的 response 对象的 getcode() 方法就可以得到 HTTP 的返回码。但对其它返回码来说,urlopen 会抛出异常。这时候,就要检查异常对象的 code 属性了:

import urllib2  

try:  

    response = urllib2.urlopen('http://bbs.csdn.net/why')  

except urllib2.HTTPError, e:  

    print e.code 

8.Debug Log

使用 urllib2 时,可以通过下面的方法把 debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便调试,有时可以省去抓包的工作

import urllib2  

httpHandler = urllib2.HTTPHandler(debuglevel=1)  

httpsHandler = urllib2.HTTPSHandler(debuglevel=1)  

opener = urllib2.build_opener(httpHandler, httpsHandler)  

urllib2.install_opener(opener)  

response = urllib2.urlopen('http://www.google.com') 

这样就可以看到传输的数据包内容了:

零基础写python爬虫之urllib2使用指南

9.表单的处理

登录必要填表,表单怎么填?
首先利用工具截取所要填表的内容。
比如我一般用firefox+httpfox插件来看看自己到底发送了些什么包。
以verycd为例,先找到自己发的POST请求,以及POST表单项。
可以看到verycd的话需要填username,password,continueURI,fk,login_submit这几项,其中fk是随机生成的(其实不太随机,看上去像是把epoch时间经过简单的编码生成的),需要从网页获取,也就是说得先访问一次网页,用正则表达式等工具截取返回数据中的fk项。continueURI顾名思义可以随便写,login_submit是固定的,这从源码可以看出。还有username,password那就很显然了:

# -*- coding: utf-8 -*-  

import urllib  

import urllib2  

postdata=urllib.urlencode({  

    'username':'汪小光',  

    'password':'why888',  

    'continueURI':'http://www.verycd.com/',  

    'fk':'',  

    'login_submit':'登录'  

})  

req = urllib2.Request(  

    url = 'http://secure.verycd.com/signin',  

    data = postdata  

)  

result = urllib2.urlopen(req)  

print result.read()  

10.伪装成浏览器访问

某些网站反感爬虫的到访,于是对爬虫一律拒绝请求
这时候我们需要伪装成浏览器,这可以通过修改http包中的header来实现

#…  

  

headers = {  

    'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'  

}  

req = urllib2.Request(  

    url = 'http://secure.verycd.com/signin/*/http://www.verycd.com/',  

    data = postdata,  

    headers = headers  

)  

#... 

11.对付"反盗链"

某些站点有所谓的反盗链设置,其实说穿了很简单,
就是检查你发送请求的header里面,referer站点是不是他自己,
所以我们只需要像把headers的referer改成该网站即可,以cnbeta为例:
#...
headers = {
    'Referer':'http://www.cnbeta.com/articles'
}
#...
headers是一个dict数据结构,你可以放入任何想要的header,来做一些伪装。
例如,有些网站喜欢读取header中的X-Forwarded-For来看看人家的真实IP,可以直接把X-Forwarde-For改了。

Python 相关文章推荐
Python数据结构与算法之字典树实现方法示例
Dec 13 Python
单链表反转python实现代码示例
Feb 08 Python
基于tensorflow加载部分层的方法
Jul 26 Python
python 3.7.0 安装配置方法图文教程
Aug 27 Python
在Python中pandas.DataFrame重置索引名称的实例
Nov 06 Python
Python实现蒙特卡洛算法小实验过程详解
Jul 12 Python
opencv调整图像亮度对比度的示例代码
Sep 27 Python
Django用数据库表反向生成models类知识点详解
Mar 25 Python
python中实现栈的三种方法
Dec 19 Python
python math模块的基本使用教程
Jan 16 Python
tensorboard 可视化之localhost:6006不显示的解决方案
May 22 Python
理解python中装饰器的作用
Jul 21 Python
零基础写python爬虫之urllib2中的两个重要概念:Openers和Handlers
Nov 05 #Python
零基础写python爬虫之HTTP异常处理
Nov 05 #Python
零基础写python爬虫之使用urllib2组件抓取网页内容
Nov 04 #Python
零基础写python爬虫之爬虫的定义及URL构成
Nov 04 #Python
使用Python编写简单网络爬虫抓取视频下载资源
Nov 04 #Python
Python爬取Coursera课程资源的详细过程
Nov 04 #Python
使用python开发vim插件及心得分享
Nov 04 #Python
You might like
php下通过POST还是GET来传值
2008/06/05 PHP
PHP 服务器配置(使用Apache及IIS两种方法)
2009/06/01 PHP
php中apc缓存使用示例
2013/12/25 PHP
PHP设计模式之简单投诉页面实例
2016/02/24 PHP
ucenter中词语过滤原理分析
2016/07/13 PHP
CSS中一些@规则的用法小结
2021/03/09 HTML / CSS
filemanage功能中用到的common.js
2007/04/08 Javascript
JS子父窗口互相操作取值赋值的方法介绍
2013/05/11 Javascript
直接在JS里创建JSON数据然后遍历使用
2014/07/25 Javascript
javascript中不易分清的slice,splice和split三个函数
2016/03/29 Javascript
Javascript面试经典套路reduce函数查重
2017/03/23 Javascript
移动端利用H5实现压缩图片上传功能
2017/03/29 Javascript
Vue中组件之间数据的传递的示例代码
2017/09/08 Javascript
nodejs判断文件、文件夹是否存在及删除的方法
2017/11/10 NodeJs
ReactNative 之FlatList使用及踩坑封装总结
2017/11/29 Javascript
javaScript手机号码校验工具类PhoneUtils详解
2017/12/08 Javascript
详解使用create-react-app快速构建React开发环境
2018/05/16 Javascript
node实现socket链接与GPRS进行通信的方法
2019/05/20 Javascript
vue之a-table中实现清空选中的数据
2019/11/07 Javascript
React实现阿里云OSS上传文件的示例
2020/08/10 Javascript
python使用xauth方式登录饭否网然后发消息
2014/04/11 Python
详解Python的Django框架中的模版相关知识
2015/07/15 Python
Python判断文本中消息重复次数的方法
2016/04/27 Python
使用python判断你是青少年还是老年人
2018/11/29 Python
python中调试或排错的五种方法示例
2019/09/12 Python
OpenCV模板匹配matchTemplate的实现
2019/10/18 Python
Python使用socket模块实现简单tcp通信
2020/08/18 Python
使用CSS实现弹性视频html5案例实践
2012/12/26 HTML / CSS
美国综合购物商城:UnbeatableSale.com
2018/11/28 全球购物
办公室驾驶员岗位职责
2013/11/15 职场文书
应届毕业生自我鉴定范文
2013/12/27 职场文书
2014年征兵标语
2014/06/20 职场文书
销售员试用期自我评价
2014/09/15 职场文书
2015年母亲节活动总结
2015/02/10 职场文书
小学少先队工作总结2015
2015/05/26 职场文书
Django框架之路由用法
2022/06/10 Python