零基础写python爬虫之使用urllib2组件抓取网页内容


Posted in Python onNovember 04, 2014

版本号:Python2.7.5,Python3改动较大,各位另寻教程。

所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。 
类似于使用程序模拟IE浏览器的功能,把URL作为HTTP请求的内容发送到服务器端, 然后读取服务器端的响应资源。

在Python中,我们使用urllib2这个组件来抓取网页。
urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。

它以urlopen函数的形式提供了一个非常简单的接口。

最简单的urllib2的应用代码只需要四行。

我们新建一个文件urllib2_test01.py来感受一下urllib2的作用:

import urllib2
response = urllib2.urlopen('http://www.baidu.com/')
html = response.read()
print html

按下F5可以看到运行的结果:

零基础写python爬虫之使用urllib2组件抓取网页内容

我们可以打开百度主页,右击,选择查看源代码(火狐OR谷歌浏览器均可),会发现也是完全一样的内容。

也就是说,上面这四行代码将我们访问百度时浏览器收到的代码们全部打印了出来。

这就是一个最简单的urllib2的例子。

除了"http:",URL同样可以使用"ftp:","file:"等等来替代。

HTTP是基于请求和应答机制的:

客户端提出请求,服务端提供应答。

urllib2用一个Request对象来映射你提出的HTTP请求。

在它最简单的使用形式中你将用你要请求的地址创建一个Request对象,

通过调用urlopen并传入Request对象,将返回一个相关请求response对象,

这个应答对象如同一个文件对象,所以你可以在Response中调用.read()。

我们新建一个文件urllib2_test02.py来感受一下:

import urllib2  
req = urllib2.Request('http://www.baidu.com')  
response = urllib2.urlopen(req)  
the_page = response.read()  
print the_page

可以看到输出的内容和test01是一样的。

urllib2使用相同的接口处理所有的URL头。例如你可以像下面那样创建一个ftp请求。

req = urllib2.Request('ftp://example.com/')

在HTTP请求时,允许你做额外的两件事。

1.发送data表单数据

这个内容相信做过Web端的都不会陌生,

有时候你希望发送一些数据到URL(通常URL与CGI[通用网关接口]脚本,或其他WEB应用程序挂接)。

在HTTP中,这个经常使用熟知的POST请求发送。

这个通常在你提交一个HTML表单时由你的浏览器来做。

并不是所有的POSTs都来源于表单,你能够使用POST提交任意的数据到你自己的程序。

一般的HTML表单,data需要编码成标准形式。然后做为data参数传到Request对象。

编码工作使用urllib的函数而非urllib2。

我们新建一个文件urllib2_test03.py来感受一下:

import urllib  
import urllib2  
url = 'http://www.someserver.com/register.cgi'  
values = {'name' : 'WHY',  
          'location' : 'SDU',  
          'language' : 'Python' }  
data = urllib.urlencode(values) # 编码工作
req = urllib2.Request(url, data)  # 发送请求同时传data表单
response = urllib2.urlopen(req)  #接受反馈的信息
the_page = response.read()  #读取反馈的内容

如果没有传送data参数,urllib2使用GET方式的请求。

GET和POST请求的不同之处是POST请求通常有"副作用",

它们会由于某种途径改变系统状态(例如提交成堆垃圾到你的门口)。

Data同样可以通过在Get请求的URL本身上面编码来传送。

import urllib2  
import urllib
data = {}
data['name'] = 'WHY'  
data['location'] = 'SDU'  
data['language'] = 'Python'
url_values = urllib.urlencode(data)  
print url_values
name=Somebody+Here&language=Python&location=Northampton  
url = 'http://www.example.com/example.cgi'  
full_url = url + '?' + url_values
data = urllib2.open(full_url)

这样就实现了Data数据的Get传送。

2.设置Headers到http请求

有一些站点不喜欢被程序(非人为访问)访问,或者发送不同版本的内容到不同的浏览器。

默认的urllib2把自己作为“Python-urllib/x.y”(x和y是Python主版本和次版本号,例如Python-urllib/2.7),

这个身份可能会让站点迷惑,或者干脆不工作。

浏览器确认自己身份是通过User-Agent头,当你创建了一个请求对象,你可以给他一个包含头数据的字典。

下面的例子发送跟上面一样的内容,但把自身模拟成Internet Explorer。

(多谢大家的提醒,现在这个Demo已经不可用了,不过原理还是那样的)。

import urllib  
import urllib2  
url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'  
values = {'name' : 'WHY',  
          'location' : 'SDU',  
          'language' : 'Python' }  
headers = { 'User-Agent' : user_agent }  
data = urllib.urlencode(values)  
req = urllib2.Request(url, data, headers)  
response = urllib2.urlopen(req)  
the_page = response.read() 

以上就是python利用urllib2通过指定的URL抓取网页内容的全部内容,非常简单吧,希望对大家能有所帮助

Python 相关文章推荐
Python中一些自然语言工具的使用的入门教程
Apr 13 Python
python基础_文件操作实现全文或单行替换的方法
Sep 04 Python
简单了解OpenCV是个什么东西
Nov 10 Python
Python pyinotify日志监控系统处理日志的方法
Mar 08 Python
使用Python创建简单的HTTP服务器的方法步骤
Apr 26 Python
pyqt5中QThread在使用时出现重复emit的实例
Jun 21 Python
Django框架视图层URL映射与反向解析实例分析
Jul 29 Python
Python配置文件处理的方法教程
Aug 29 Python
解决python 执行sql语句时所传参数含有单引号的问题
Jun 06 Python
解决Keras的自定义lambda层去reshape张量时model保存出错问题
Jul 01 Python
python Tkinter的简单入门教程
Apr 11 Python
python tkinter实现定时关机
Apr 21 Python
零基础写python爬虫之爬虫的定义及URL构成
Nov 04 #Python
使用Python编写简单网络爬虫抓取视频下载资源
Nov 04 #Python
Python爬取Coursera课程资源的详细过程
Nov 04 #Python
使用python开发vim插件及心得分享
Nov 04 #Python
Python学习笔记之os模块使用总结
Nov 03 #Python
Python中获取网页状态码的两个方法
Nov 03 #Python
Python random模块常用方法
Nov 03 #Python
You might like
PHP执行速率优化技巧小结
2008/03/15 PHP
thinkPHP框架中layer.js的封装与使用方法示例
2019/01/18 PHP
javascript 无提示关闭窗口脚本
2009/08/17 Javascript
jquery实现的让超出显示范围外的导航自动固定屏幕最顶上
2011/09/22 Javascript
基于jquery库的tab新形式使用
2012/11/16 Javascript
jquery中获得元素尺寸和坐标的方法整理
2014/05/18 Javascript
AngularJS中取消对HTML片段转义的方法例子
2015/01/04 Javascript
javascript实现简单查找与替换的方法
2015/07/22 Javascript
深入学习JavaScript中的原型prototype
2015/08/13 Javascript
Nodejs获取网络数据并生成Excel表格
2020/03/31 NodeJs
jQuery实现手机自定义弹出输入框
2016/06/13 Javascript
jQuery处理XML文件的几种方法
2016/06/14 Javascript
手机浏览器 后退按钮强制刷新页面方法总结
2016/10/09 Javascript
基于 Vue 的树形选择组件的示例代码
2017/08/18 Javascript
简单理解Vue中的nextTick方法
2018/01/30 Javascript
详解ES6系列之私有变量的实现
2018/11/21 Javascript
如何在selenium中使用js实现定位
2020/08/18 Javascript
vue深度监听(监听对象和数组的改变)与立即执行监听实例
2020/09/04 Javascript
Python中遍历字典过程中更改元素导致异常的解决方法
2016/05/12 Python
python使用KNN算法手写体识别
2018/02/01 Python
Python3.7实现中控考勤机自动连接
2018/08/28 Python
利用rest framework搭建Django API过程解析
2019/08/31 Python
pygame实现俄罗斯方块游戏(基础篇1)
2019/10/29 Python
Python中itertools的用法详解
2020/02/07 Python
详解scrapy内置中间件的顺序
2020/09/28 Python
VSCODE配置Markdown及Markdown基础语法详解
2021/01/19 Python
详解Python 中的 defaultdict 数据类型
2021/02/22 Python
python 实现有道翻译功能
2021/02/26 Python
HTML5拖拽的简单实例
2016/05/30 HTML / CSS
彪马西班牙官网:PUMA西班牙
2019/06/18 全球购物
电大自我鉴定范文
2013/10/01 职场文书
教师年终个人自我评价
2013/10/04 职场文书
个人简历自我评价范文
2014/02/04 职场文书
竞争上岗实施方案
2014/03/21 职场文书
融资租赁计划书
2014/04/29 职场文书
2015年小学英语教师工作总结
2015/05/12 职场文书