Python中的urllib模块使用详解


Posted in Python onJuly 07, 2015

urllib模块提供的上层接口,使我们可以像读取本地文件一样读取www和ftp上的数据。每当使用这个模块的时候,老是会想起公司产品的客户端,同事用C++下载Web上的图片,那种“痛苦”的表情。我以前翻译过libcurl教程,这是在C/C++环境下比较方便实用的网络操作库,相比起libcurl,Python的urllib模块的使用门槛则低多了。可能有些人又会用效率来批评Python,其实在操作网络,或者在集群交互的时候, 语言的执行效率绝不是瓶颈。这种情况下,一个比较好的方法是,将python嵌入到C/C++中,让Python来完成一些不是核心的逻辑处理。又扯远了,废话少说,开始urllib之旅吧~~ (前几天我用这个模块写了个蜘蛛,感兴趣的同学可以在以前的博客中找到代码)

先看一个例子,这个例子把Google首页的html抓取下来并显示在控制台上:

# 别惊讶,整个程序确实只用了两行代码
import urllib
print urllib.urlopen('http://www.google.com').read()

urllib.urlopen(url[, data[, proxies]]) :

创建一个表示远程url的类文件对象,然后像本地文件一样操作这个类文件对象来获取远程数据。参数url表示远程数据的路径,一般是网址;参数data表示以post方式提交到url的数据(玩过web的人应该知道提交数据的两种方式:post与get。如果你不清楚,也不必太在意,一般情况下很少用到这个参数);参数proxies用于设置代理(这里不详细讲怎么使用代理,感兴趣的看客可以去翻阅Python手册urllib模块)。urlopen返回 一个类文件对象,他提供了如下方法:

  •         read() , readline() , readlines() , fileno() , close() :这些方法的使用方式与文件对象完全一样;
  •         info():返回一个httplib.HTTPMessage 对象,表示远程服务器返回的头信息;
  •         getcode():返回Http状态码。如果是http请求,200表示请求成功完成;404表示网址未找到;
  •         geturl():返回请求的url;

下面来扩充一下上面的例子,看官可以运行一下这个例子,加深对urllib的印象:

google = urllib.urlopen('http://www.google.com')
print 'http header:/n', google.info()
print 'http status:', google.getcode()
print 'url:', google.geturl()
for line in google: # 就像在操作本地文件
  print line,
google.close()

urllib.urlretrieve(url[, filename[, reporthook[, data]]]):

urlretrieve方法直接将远程数据下载到本地。参数filename指定了保存到本地的路径(如果未指定该参数,urllib会生成一个临时文件来保存数据);参数reporthook是一个回调函数,当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函 数来显示当前的下载进度,下面的例子会展示。参数data指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers),filename表示保存到本地的路径,header表示服务器的响应头。下面通过例子来演示一下这个方法的使用,这个例子将新浪首页的html抓取到本地,保存在D:/sina.html文件中,同时显示下载的进度。

def cbk(a, b, c):
  '''回调函数
  @a: 已经下载的数据块
  @b: 数据块的大小
  @c: 远程文件的大小
  '''
  per = 100.0 * a * b / c
  if per > 100:
    per = 100
  print '%.2f%%' % per

url = 'http://www.sina.com.cn'
local = 'd://sina.html'
urllib.urlretrieve(url, local, cbk)

上面介绍的两个方法是urllib中最常用的方法,这些方法在获取远程数据的时候,内部会使用URLopener或者 FancyURLOpener类。作为urllib的使用者,我们很少会用到这两个类,这里我不想多讲。如果对urllib的实现感兴趣, 或者希望urllib支持更多的协议,可以研究这两个类。在Python手册中,urllib的作者还列出了这个模块的缺陷和不足,感兴趣的同学可以打开 Python手册了解一下。

urllib中还提供了一些辅助方法,用于对url进行编码、解码。url中是不能出现一些特殊的符号的,有些符号有特殊的用途。我们知道以get方式提交数据的时候,会在url中添加key=value这样的字符串,所以在value中是不允许有'=',因此要对其进行编码;与此同时服务器接收到这些参数的时候,要进行解码,还原成原始的数据。这个时候,这些辅助方法会很有用:

  •     urllib.quote(string[, safe]):对字符串进行编码。参数safe指定了不需要编码的字符;
  •     urllib.unquote(string) :对字符串进行解码;
  •     urllib.quote_plus(string [ , safe ] ) :与urllib.quote类似,但这个方法用'+'来替换' ‘,而quote用'%20′来代替' ‘
  •     urllib.unquote_plus(string ) :对字符串进行解码;
  •     urllib.urlencode(query[, doseq]):将dict或者包含两个元素的元组列表转换成url参数。例如 字典{‘name': ‘dark-bull', ‘age': 200}将被转换为”name=dark-bull&age=200″
  •     urllib.pathname2url(path):将本地路径转换成url路径;

    urllib.url2pathname(path):将url路径转换成本地路径;

用一个例子来体验一下这些方法吧~~:

data = 'name = ~a+3'

data1 = urllib.quote(data)
print data1 # result: name%20%3D%20%7Ea%2B3
print urllib.unquote(data1) # result: name = ~a+3

data2 = urllib.quote_plus(data)
print data2 # result: name+%3D+%7Ea%2B3
print urllib.unquote_plus(data2)  # result: name = ~a+3

data3 = urllib.urlencode({ 'name': 'dark-bull', 'age': 200 })
print data3 # result: age=200&name=dark-bull

data4 = urllib.pathname2url(r'd:/a/b/c/23.php')
print data4 # result: ///D|/a/b/c/23.php
print urllib.url2pathname(data4)  # result: D:/a/b/c/23.php

urllib模块的基本使用,就这么简单。oh~~yeah~~又一个模块写完了,想想,我已经写了将近30个模块了,有时间我要好好整理一下@@@@

Python 相关文章推荐
Python中使用动态变量名的方法
May 06 Python
Python SQLite3数据库操作类分享
Jun 10 Python
pygame学习笔记(3):运动速率、时间、事件、文字
Apr 15 Python
python实现的多线程端口扫描功能示例
Jan 21 Python
Python数据结构与算法之二叉树结构定义与遍历方法详解
Dec 12 Python
Selenium 模拟浏览器动态加载页面的实现方法
May 16 Python
python实现五子棋人机对战游戏
Mar 25 Python
python 实现Flask中返回图片流给前端展示
Jan 09 Python
Python爬取新型冠状病毒“谣言”新闻进行数据分析
Feb 16 Python
pandas参数设置的实用小技巧
Aug 23 Python
python math模块的基本使用教程
Jan 16 Python
Python Flask实现进度条
May 11 Python
Python实现图像几何变换
Jul 06 #Python
Python统计日志中每个IP出现次数的方法
Jul 06 #Python
python统计日志ip访问数的方法
Jul 06 #Python
python检查指定文件是否存在的方法
Jul 06 #Python
python转换字符串为摩尔斯电码的方法
Jul 06 #Python
python实现文件路径和url相互转换的方法
Jul 06 #Python
详解Python中的Cookie模块使用
Jul 06 #Python
You might like
phpwind中的数据库操作类
2007/01/02 PHP
PHP中运用jQuery的Ajax跨域调用实现代码
2012/02/21 PHP
php页面防重复提交方法总结
2013/11/25 PHP
PHP调用JAVA的WebService简单实例
2014/03/11 PHP
php检测mysql表是否存在的方法小结
2017/07/20 PHP
Laravel 添加多语言提示信息的方法
2019/09/29 PHP
jQuery ajax(复习)—Baidu ajax request分离版
2013/01/24 Javascript
js字符串日期yyyy-MM-dd转化为date示例代码
2014/03/06 Javascript
JavaScript中return false的用法
2015/03/12 Javascript
jquery捕捉回车键及获取checkbox值与异步请求的方法
2015/12/24 Javascript
AngularJS中实现动画效果的方法
2016/07/28 Javascript
JS读写CSS样式的方法汇总
2016/08/16 Javascript
jQuery实现鼠标滑过图片移动特效
2016/12/08 Javascript
JavaScript之DOM插入更新删除_动力节点Java学院整理
2017/07/03 Javascript
Vue封装Swiper实现图片轮播效果
2018/02/06 Javascript
JavaScript实现简单动态进度条效果
2018/04/06 Javascript
JavaScript门道之标准库
2018/05/26 Javascript
解决Vue在Tomcat8下部署页面不加载的问题
2019/11/12 Javascript
vue中v-for循环选中点击的元素并对该元素添加样式操作
2020/07/17 Javascript
python3.4用循环往mysql5.7中写数据并输出的实现方法
2017/06/20 Python
Python实现基于POS算法的区块链
2018/08/07 Python
python多线程案例之多任务copy文件完整实例
2019/10/29 Python
PyCharm使用之配置SSH Interpreter的方法步骤
2019/12/26 Python
一文轻松掌握python语言命名规范规则
2020/06/18 Python
微信小程序之html5 canvas绘图并保存到系统相册
2019/06/20 HTML / CSS
Tostadora意大利:定制T恤
2019/04/08 全球购物
存储过程和函数的区别
2013/05/28 面试题
安全生产检讨书
2014/01/21 职场文书
2014年社区卫生工作总结
2014/12/18 职场文书
2014初中数学教研组工作总结
2014/12/19 职场文书
钱学森观后感
2015/06/04 职场文书
仰望星空观后感
2015/06/10 职场文书
幼儿园小班教学反思
2016/03/03 职场文书
mysql部分操作
2021/04/05 MySQL
python中sqllite插入numpy数组到数据库的实现方法
2021/06/21 Python
Mysql中@和@@符号的详细使用指南
2022/06/05 MySQL