编程 Python

python实现从web抓取文档的方法

Posted in Python onSeptember 26, 2014

本文实例讲述了Python实现从Web的一个URL中抓取文档的方法，分享给大家供大家参考。具体方法分析如下：

实例代码如下：

import urllib 
doc = urllib.urlopen("http://www.python.org").read() 
print doc#直接打印出网页 
def reporthook(*a): 
 print a 
#将http://www.renren.com网页保存到renre.html中，
#每读取一个块调用一字reporthook函数 
 
urllib.urlretrieve("http://www.renren.com",'renren.html',reporthook) 
#将http://www.renren.com网页保存到renre.html中 
urllib.urlretrieve("http://www.renren.com",'renren.html')

程序运行结果如下：

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
..........................网页内容
</body>
</html>


(0, 8192, -1)
(1, 8192, -1)
(2, 8192, -1)

其中urllib.urlopen返回一个类文件对象。

希望本文所述对大家的Python程序设计有所帮助。

python实现从web抓取文档的方法

- Author -

shichen2014

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

python使用xmlrpc实例讲解

Dec 17 Python

python实现TCP服务器端与客户端的方法详解

Apr 30 Python

Python查找两个有序列表中位数的方法【基于归并算法】

Apr 20 Python

Python爬虫信息输入及页面的切换方法

May 11 Python

pycharm 解除默认unittest模式的方法

Nov 30 Python

Python实现针对json中某个关键字段进行排序操作示例

Dec 25 Python

钉钉群自定义机器人消息Python封装的实例

Feb 20 Python

Python3.5面向对象编程图文与实例详解

Apr 24 Python

Django实现文件上传下载

Oct 06 Python

python实现输入任意一个大写字母生成金字塔的示例

Oct 27 Python

python编程简单几行代码实现视频转换Gif示例

Oct 05 Python

Python装饰器的练习题

Nov 23 Python

python实现udp数据报传输的方法

Sep 26 #Python

python使用Berkeley DB数据库实例

Sep 26 #Python

python实现通过shelve修改对象实例

Sep 26 #Python

python实现在pickling的时候压缩的方法

Sep 25 #Python

python使用cPickle模块序列化实例

Sep 25 #Python

python使用marshal模块序列化实例

Sep 25 #Python

python中类的一些方法分析

Sep 25 #Python

You might like

PHP操作MongoDB GridFS 存储文件的详解

2013/06/20 PHP

PHP微信开发之微信录音临时转永久存储

2018/01/26 PHP

新老版本juqery获取radio对象的方法

2010/03/01 Javascript

javascript实现上传图片并预览的效果实现代码

2011/04/11 Javascript

JavaScript打开word文档的实现代码(c#)

2012/04/16 Javascript

JQuery插件iScroll实现下拉刷新，滚动翻页特效

2014/06/22 Javascript

jQuery中ajax的post()方法用法实例

2014/12/26 Javascript

基于jQuery实现点击弹出层实例代码

2016/01/01 Javascript

Javascript基础教程之比较null和undefined值

2016/05/16 Javascript

jQuery中Ajax全局事件引用方式及各个事件(全局/局部)执行顺序

2016/06/02 Javascript

JS简单获取客户端IP地址的方法【调用搜狐接口】

2016/09/05 Javascript

JS常见创建类的方法小结【工厂方式,构造器方式,原型方式,联合方式等】

2017/04/01 Javascript

微信小程序实现城市列表选择

2018/06/05 Javascript

JavaScript简单实现动态改变HTML内容的方法示例

2018/12/25 Javascript

Angular使用Restful的增删改

2018/12/28 Javascript

vue设计一个倒计时秒杀的组件详解

2019/04/06 Javascript

Vue源码解析之数据响应系统的使用

2019/04/24 Javascript

小程序如何在不同设备上自适应生成海报的实现方法

2019/08/20 Javascript

python字符串编码识别模块chardet简单应用

2015/06/15 Python

python3制作捧腹网段子页爬虫

2017/02/12 Python

Python学习笔记之解析json的方法分析

2017/04/21 Python

快速解决安装python没有scripts文件夹的问题

2018/04/03 Python

Python求解任意闭区间的所有素数

2018/06/10 Python

python3 flask实现文件上传功能

2020/03/20 Python

python实现zabbix发送短信脚本

2018/09/17 Python

Python实现定制自动化业务流量报表周报功能【XlsxWriter模块】

2019/03/11 Python

pyqt实现.ui文件批量转换为对应.py文件脚本

2019/06/19 Python

英国著名的药妆网站：Escentual

2016/07/29 全球购物

马来西亚最好的婴儿商店：Motherhood

2017/09/14 全球购物

澳大利亚足球鞋和服装购物网站：Ultra Football

2018/10/11 全球购物

俄罗斯三星品牌商店：GalaxyStore

2020/11/04 全球购物

教师远程培训感言

2014/03/06 职场文书

个性婚礼策划方案

2014/05/17 职场文书

总经理司机岗位职责

2015/04/10 职场文书

html5调用摄像头实例代码

2021/06/28 HTML / CSS

Python中文纠错的简单实现

2021/07/07 Python