零基础写python爬虫之使用urllib2组件抓取网页内容


Posted in Python onNovember 04, 2014

版本号:Python2.7.5,Python3改动较大,各位另寻教程。

所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。 
类似于使用程序模拟IE浏览器的功能,把URL作为HTTP请求的内容发送到服务器端, 然后读取服务器端的响应资源。

在Python中,我们使用urllib2这个组件来抓取网页。
urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。

它以urlopen函数的形式提供了一个非常简单的接口。

最简单的urllib2的应用代码只需要四行。

我们新建一个文件urllib2_test01.py来感受一下urllib2的作用:

import urllib2
response = urllib2.urlopen('http://www.baidu.com/')
html = response.read()
print html

按下F5可以看到运行的结果:

零基础写python爬虫之使用urllib2组件抓取网页内容

我们可以打开百度主页,右击,选择查看源代码(火狐OR谷歌浏览器均可),会发现也是完全一样的内容。

也就是说,上面这四行代码将我们访问百度时浏览器收到的代码们全部打印了出来。

这就是一个最简单的urllib2的例子。

除了"http:",URL同样可以使用"ftp:","file:"等等来替代。

HTTP是基于请求和应答机制的:

客户端提出请求,服务端提供应答。

urllib2用一个Request对象来映射你提出的HTTP请求。

在它最简单的使用形式中你将用你要请求的地址创建一个Request对象,

通过调用urlopen并传入Request对象,将返回一个相关请求response对象,

这个应答对象如同一个文件对象,所以你可以在Response中调用.read()。

我们新建一个文件urllib2_test02.py来感受一下:

import urllib2  
req = urllib2.Request('http://www.baidu.com')  
response = urllib2.urlopen(req)  
the_page = response.read()  
print the_page

可以看到输出的内容和test01是一样的。

urllib2使用相同的接口处理所有的URL头。例如你可以像下面那样创建一个ftp请求。

req = urllib2.Request('ftp://example.com/')

在HTTP请求时,允许你做额外的两件事。

1.发送data表单数据

这个内容相信做过Web端的都不会陌生,

有时候你希望发送一些数据到URL(通常URL与CGI[通用网关接口]脚本,或其他WEB应用程序挂接)。

在HTTP中,这个经常使用熟知的POST请求发送。

这个通常在你提交一个HTML表单时由你的浏览器来做。

并不是所有的POSTs都来源于表单,你能够使用POST提交任意的数据到你自己的程序。

一般的HTML表单,data需要编码成标准形式。然后做为data参数传到Request对象。

编码工作使用urllib的函数而非urllib2。

我们新建一个文件urllib2_test03.py来感受一下:

import urllib  
import urllib2  
url = 'http://www.someserver.com/register.cgi'  
values = {'name' : 'WHY',  
          'location' : 'SDU',  
          'language' : 'Python' }  
data = urllib.urlencode(values) # 编码工作
req = urllib2.Request(url, data)  # 发送请求同时传data表单
response = urllib2.urlopen(req)  #接受反馈的信息
the_page = response.read()  #读取反馈的内容

如果没有传送data参数,urllib2使用GET方式的请求。

GET和POST请求的不同之处是POST请求通常有"副作用",

它们会由于某种途径改变系统状态(例如提交成堆垃圾到你的门口)。

Data同样可以通过在Get请求的URL本身上面编码来传送。

import urllib2  
import urllib
data = {}
data['name'] = 'WHY'  
data['location'] = 'SDU'  
data['language'] = 'Python'
url_values = urllib.urlencode(data)  
print url_values
name=Somebody+Here&language=Python&location=Northampton  
url = 'http://www.example.com/example.cgi'  
full_url = url + '?' + url_values
data = urllib2.open(full_url)

这样就实现了Data数据的Get传送。

2.设置Headers到http请求

有一些站点不喜欢被程序(非人为访问)访问,或者发送不同版本的内容到不同的浏览器。

默认的urllib2把自己作为“Python-urllib/x.y”(x和y是Python主版本和次版本号,例如Python-urllib/2.7),

这个身份可能会让站点迷惑,或者干脆不工作。

浏览器确认自己身份是通过User-Agent头,当你创建了一个请求对象,你可以给他一个包含头数据的字典。

下面的例子发送跟上面一样的内容,但把自身模拟成Internet Explorer。

(多谢大家的提醒,现在这个Demo已经不可用了,不过原理还是那样的)。

import urllib  
import urllib2  
url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'  
values = {'name' : 'WHY',  
          'location' : 'SDU',  
          'language' : 'Python' }  
headers = { 'User-Agent' : user_agent }  
data = urllib.urlencode(values)  
req = urllib2.Request(url, data, headers)  
response = urllib2.urlopen(req)  
the_page = response.read() 

以上就是python利用urllib2通过指定的URL抓取网页内容的全部内容,非常简单吧,希望对大家能有所帮助

Python 相关文章推荐
Python 用户登录验证的小例子
Mar 06 Python
Python对象体系深入分析
Oct 28 Python
Django与JS交互的示例代码
Aug 23 Python
python爬虫中get和post方法介绍以及cookie作用
Feb 08 Python
PyTorch CNN实战之MNIST手写数字识别示例
May 29 Python
Python实现的简单线性回归算法实例分析
Dec 26 Python
python 字典操作提取key,value的方法
Jun 26 Python
使用Python代码实现Linux中的ls遍历目录命令的实例代码
Sep 07 Python
Jupyter加载文件的实现方法
Apr 14 Python
Python 必须了解的5种高级特征
Sep 10 Python
用python对oracle进行简单性能测试
Dec 05 Python
python中Mako库实例用法
Dec 31 Python
零基础写python爬虫之爬虫的定义及URL构成
Nov 04 #Python
使用Python编写简单网络爬虫抓取视频下载资源
Nov 04 #Python
Python爬取Coursera课程资源的详细过程
Nov 04 #Python
使用python开发vim插件及心得分享
Nov 04 #Python
Python学习笔记之os模块使用总结
Nov 03 #Python
Python中获取网页状态码的两个方法
Nov 03 #Python
Python random模块常用方法
Nov 03 #Python
You might like
Yii框架数据库查询、增加、删除操作示例
2019/10/14 PHP
Aster vs Newbee BO5 第三场2.19
2021/03/10 DOTA
datePicker——日期选择控件(with jquery)
2007/02/20 Javascript
JavaScript 保存数组到Cookie的代码
2010/04/14 Javascript
IE本地存储userdata的一个bug说明
2010/07/01 Javascript
IE无法设置短域名下Cookie
2010/09/23 Javascript
jQuery调用AJAX时Get和post公用的乱码解决方法实例说明
2013/06/04 Javascript
javascript full screen 全屏显示页面元素的方法
2013/09/27 Javascript
jquery cookie的用法总结
2013/11/18 Javascript
JavaScript原生对象之Number对象的属性和方法详解
2015/03/13 Javascript
jquery中attr和prop的区别分析
2015/03/16 Javascript
Node.js实用代码段之正确拼接Buffer
2016/03/17 Javascript
jQuery数组处理函数整理
2016/08/03 Javascript
js实现点击图片自动提交action的简单方法
2016/10/16 Javascript
Javascript自定义事件详解
2017/01/13 Javascript
Vue.set()实现数据动态响应的方法
2018/02/07 Javascript
JavaScript折半查找(二分查找)算法原理与实现方法示例
2018/08/06 Javascript
vue实现类似淘宝商品评价页面星级评价及上传多张图片功能
2018/10/29 Javascript
JS常见面试试题总结【去重、遍历、闭包、继承等】
2019/08/27 Javascript
python根据距离和时长计算配速示例
2014/02/16 Python
利用Python中的输入和输出功能进行读取和写入的教程
2015/04/14 Python
Python中常用的8种字符串操作方法
2019/05/06 Python
Python 程序员必须掌握的日志记录
2020/08/17 Python
python接口自动化框架实战
2020/12/23 Python
html5 canvas简单封装一个echarts实现不了的饼图
2018/06/12 HTML / CSS
澳大利亚宠物食品和用品商店:PETstock
2020/01/02 全球购物
商场消防演习方案
2014/02/12 职场文书
如何写早恋检讨书
2014/09/10 职场文书
招标授权委托书样本
2014/09/23 职场文书
委托书英文
2015/01/28 职场文书
餐饮服务员岗位职责
2015/02/09 职场文书
2015年导购员工作总结
2015/04/25 职场文书
写给老师的保证书
2015/05/09 职场文书
医务人员岗前培训心得体会
2016/01/08 职场文书
2017大学生寒假社会实践心得体会
2016/01/14 职场文书
公司趣味运动会开幕词
2016/03/04 职场文书