零基础写python爬虫之使用urllib2组件抓取网页内容


Posted in Python onNovember 04, 2014

版本号:Python2.7.5,Python3改动较大,各位另寻教程。

所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。 
类似于使用程序模拟IE浏览器的功能,把URL作为HTTP请求的内容发送到服务器端, 然后读取服务器端的响应资源。

在Python中,我们使用urllib2这个组件来抓取网页。
urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。

它以urlopen函数的形式提供了一个非常简单的接口。

最简单的urllib2的应用代码只需要四行。

我们新建一个文件urllib2_test01.py来感受一下urllib2的作用:

import urllib2
response = urllib2.urlopen('http://www.baidu.com/')
html = response.read()
print html

按下F5可以看到运行的结果:

零基础写python爬虫之使用urllib2组件抓取网页内容

我们可以打开百度主页,右击,选择查看源代码(火狐OR谷歌浏览器均可),会发现也是完全一样的内容。

也就是说,上面这四行代码将我们访问百度时浏览器收到的代码们全部打印了出来。

这就是一个最简单的urllib2的例子。

除了"http:",URL同样可以使用"ftp:","file:"等等来替代。

HTTP是基于请求和应答机制的:

客户端提出请求,服务端提供应答。

urllib2用一个Request对象来映射你提出的HTTP请求。

在它最简单的使用形式中你将用你要请求的地址创建一个Request对象,

通过调用urlopen并传入Request对象,将返回一个相关请求response对象,

这个应答对象如同一个文件对象,所以你可以在Response中调用.read()。

我们新建一个文件urllib2_test02.py来感受一下:

import urllib2  
req = urllib2.Request('http://www.baidu.com')  
response = urllib2.urlopen(req)  
the_page = response.read()  
print the_page

可以看到输出的内容和test01是一样的。

urllib2使用相同的接口处理所有的URL头。例如你可以像下面那样创建一个ftp请求。

req = urllib2.Request('ftp://example.com/')

在HTTP请求时,允许你做额外的两件事。

1.发送data表单数据

这个内容相信做过Web端的都不会陌生,

有时候你希望发送一些数据到URL(通常URL与CGI[通用网关接口]脚本,或其他WEB应用程序挂接)。

在HTTP中,这个经常使用熟知的POST请求发送。

这个通常在你提交一个HTML表单时由你的浏览器来做。

并不是所有的POSTs都来源于表单,你能够使用POST提交任意的数据到你自己的程序。

一般的HTML表单,data需要编码成标准形式。然后做为data参数传到Request对象。

编码工作使用urllib的函数而非urllib2。

我们新建一个文件urllib2_test03.py来感受一下:

import urllib  
import urllib2  
url = 'http://www.someserver.com/register.cgi'  
values = {'name' : 'WHY',  
          'location' : 'SDU',  
          'language' : 'Python' }  
data = urllib.urlencode(values) # 编码工作
req = urllib2.Request(url, data)  # 发送请求同时传data表单
response = urllib2.urlopen(req)  #接受反馈的信息
the_page = response.read()  #读取反馈的内容

如果没有传送data参数,urllib2使用GET方式的请求。

GET和POST请求的不同之处是POST请求通常有"副作用",

它们会由于某种途径改变系统状态(例如提交成堆垃圾到你的门口)。

Data同样可以通过在Get请求的URL本身上面编码来传送。

import urllib2  
import urllib
data = {}
data['name'] = 'WHY'  
data['location'] = 'SDU'  
data['language'] = 'Python'
url_values = urllib.urlencode(data)  
print url_values
name=Somebody+Here&language=Python&location=Northampton  
url = 'http://www.example.com/example.cgi'  
full_url = url + '?' + url_values
data = urllib2.open(full_url)

这样就实现了Data数据的Get传送。

2.设置Headers到http请求

有一些站点不喜欢被程序(非人为访问)访问,或者发送不同版本的内容到不同的浏览器。

默认的urllib2把自己作为“Python-urllib/x.y”(x和y是Python主版本和次版本号,例如Python-urllib/2.7),

这个身份可能会让站点迷惑,或者干脆不工作。

浏览器确认自己身份是通过User-Agent头,当你创建了一个请求对象,你可以给他一个包含头数据的字典。

下面的例子发送跟上面一样的内容,但把自身模拟成Internet Explorer。

(多谢大家的提醒,现在这个Demo已经不可用了,不过原理还是那样的)。

import urllib  
import urllib2  
url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'  
values = {'name' : 'WHY',  
          'location' : 'SDU',  
          'language' : 'Python' }  
headers = { 'User-Agent' : user_agent }  
data = urllib.urlencode(values)  
req = urllib2.Request(url, data, headers)  
response = urllib2.urlopen(req)  
the_page = response.read() 

以上就是python利用urllib2通过指定的URL抓取网页内容的全部内容,非常简单吧,希望对大家能有所帮助

Python 相关文章推荐
python获取图片颜色信息的方法
Mar 18 Python
python基于右递归解决八皇后问题的方法
May 25 Python
Python基于TCP实现会聊天的小机器人功能示例
Apr 09 Python
python+mysql实现教务管理系统
Feb 20 Python
Python2与Python3的区别实例分析
Apr 11 Python
详解python中递归函数
Apr 16 Python
Python项目 基于Scapy实现SYN泛洪攻击的方法
Jul 23 Python
浅谈Pycharm最有必要改的几个默认设置项
Feb 14 Python
Python利用逻辑回归分类实现模板
Feb 15 Python
python 使用while循环输出*组成的菱形实例
Apr 12 Python
详解Django中views数据查询使用locals()函数进行优化
Aug 24 Python
python中的对数log函数表示及用法
Dec 09 Python
零基础写python爬虫之爬虫的定义及URL构成
Nov 04 #Python
使用Python编写简单网络爬虫抓取视频下载资源
Nov 04 #Python
Python爬取Coursera课程资源的详细过程
Nov 04 #Python
使用python开发vim插件及心得分享
Nov 04 #Python
Python学习笔记之os模块使用总结
Nov 03 #Python
Python中获取网页状态码的两个方法
Nov 03 #Python
Python random模块常用方法
Nov 03 #Python
You might like
php面向对象全攻略 (十一)__toString()用法 克隆对象 __call处理调用错误
2009/09/30 PHP
PHP+MySQL实现的简单投票系统实例
2016/02/24 PHP
PHP使用pdo实现事务处理操作示例
2018/09/05 PHP
PHP文件操作简单介绍及函数汇总
2020/12/11 PHP
JavaScript入门教程(8) Location地址对象
2009/01/31 Javascript
javascript 写类方式之十
2009/07/05 Javascript
GWT中复制到剪贴板 js+flash实现复制 兼容性比较好
2010/03/07 Javascript
JavaScript操作cookie类实例
2015/03/31 Javascript
兼容各大浏览器的JavaScript阻止事件冒泡代码
2015/07/09 Javascript
javascript Slip.js实现整屏滑动的手机网页
2015/11/25 Javascript
Vue.JS入门教程之列表渲染
2016/12/01 Javascript
Websocket协议详解及简单实例代码
2016/12/12 Javascript
详解jQuery lazyload 懒加载
2016/12/19 Javascript
JS实现全屏的四种写法
2016/12/30 Javascript
react.js组件实现拖拽复制和可排序的示例代码
2018/08/20 Javascript
微信小程序入门之广告条实现方法示例
2018/12/05 Javascript
详解在HTTPS 项目中使用百度地图 API
2019/04/26 Javascript
详解阿里Node.js技术文档之process模块学习指南
2021/01/04 Javascript
python使用beautifulsoup从爱奇艺网抓取视频播放
2014/01/23 Python
Python实现的数据结构与算法之基本搜索详解
2015/04/22 Python
简单说明Python中的装饰器的用法
2015/04/24 Python
Python简单操作sqlite3的方法示例
2017/03/22 Python
Python构建网页爬虫原理分析
2017/12/19 Python
Python Subprocess模块原理及实例
2019/08/26 Python
Python调用JavaScript代码的方法
2020/10/27 Python
苹果Mac升级:MacSales.com
2017/11/20 全球购物
德国内衣、泳装和睡衣网上商店:Bigsize Dessous
2018/07/09 全球购物
乌克兰的第一家手表店:Deka
2020/03/05 全球购物
运动会入场词100字
2014/02/06 职场文书
2014年关于两会精神的心得体会
2014/03/17 职场文书
公司总经理任命书
2014/06/05 职场文书
保护动物的标语
2014/06/11 职场文书
2015年中学元旦晚会活动方案
2014/12/09 职场文书
名人传读书笔记
2015/06/26 职场文书
python numpy中multiply与*及matul 的区别说明
2021/05/26 Python
Go语言grpc和protobuf
2022/04/13 Golang