编程 Python

python实现从web抓取文档的方法

Posted in Python onSeptember 26, 2014

本文实例讲述了Python实现从Web的一个URL中抓取文档的方法，分享给大家供大家参考。具体方法分析如下：

实例代码如下：

import urllib 
doc = urllib.urlopen("http://www.python.org").read() 
print doc#直接打印出网页 
def reporthook(*a): 
 print a 
#将http://www.renren.com网页保存到renre.html中，
#每读取一个块调用一字reporthook函数 
 
urllib.urlretrieve("http://www.renren.com",'renren.html',reporthook) 
#将http://www.renren.com网页保存到renre.html中 
urllib.urlretrieve("http://www.renren.com",'renren.html')

程序运行结果如下：

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
..........................网页内容
</body>
</html>


(0, 8192, -1)
(1, 8192, -1)
(2, 8192, -1)

其中urllib.urlopen返回一个类文件对象。

希望本文所述对大家的Python程序设计有所帮助。

python实现从web抓取文档的方法

- Author -

shichen2014

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

Python创建文件和追加文件内容实例

Oct 21 Python

python非递归全排列实现方法

Apr 10 Python

Python代码实现KNN算法

Dec 20 Python

解决Mac安装scrapy失败的问题

Jun 13 Python

使用Python实现一个栈判断括号是否平衡

Aug 23 Python

python的中异常处理机制

Aug 30 Python

python设计微型小说网站(基于Django+Bootstrap框架)

Jul 08 Python

python实现监控阿里云账户余额功能

Dec 16 Python

pytorch实现mnist数据集的图像可视化及保存

Jan 14 Python

python构造函数init实例方法解析

Jan 19 Python

Python 开发工具PyCharm安装教程图文详解(新手必看)

Feb 28 Python

pycharm Tab键设置成4个空格的操作

Feb 26 Python

python实现udp数据报传输的方法

Sep 26 #Python

python使用Berkeley DB数据库实例

Sep 26 #Python

python实现通过shelve修改对象实例

Sep 26 #Python

python实现在pickling的时候压缩的方法

Sep 25 #Python

python使用cPickle模块序列化实例

Sep 25 #Python

python使用marshal模块序列化实例

Sep 25 #Python

python中类的一些方法分析

Sep 25 #Python