首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

使用python提取html文件中的特定数据的实现代码

Posted in Python onMarch 24, 2013

例如 具有如下结构的html文件 

<div class='entry-content'> 
<p>感兴趣内容1</p> 
<p>感兴趣内容2</p> 
…… 
<p>感兴趣内容n</p> 
</div> 
<div class='content'> 
<p>内容1</p> 
<p>内容2</p> 
…… 
<p>内容n</p> 
</div>

我们尝试获得'感兴趣内容'

对于文本内容,我们保存到IDList中。
可是如何标记我们遇到的文本是感兴趣的内容呢，也就是，处于 

<div class='entry-content'> 
<p>这里的内容</p> 
<p>还有这里</p> 
…… 
<p>以及这里的内容</p> 
</div>

思路如下

  1. 遇到<div class='entry-content'> 设置标记flag = True
  2. 遇到</div>后 设置标记flag = False
  3. 当flag 为True时遇到<p> 设置标记getdata = True
  4. 遇到</p> 且getdata = True,设置getdata = False

python为我们提供了SGMLParser类，SGMLParser 将 HTML 分析成 8 类数据[1]，然后对每一类调用单独的方法:使用时只需继承SGMLParser 类，并编写页面信息的处理函数。

可用的处理函数如下：

  • 开始标记 (Start tag) 
是一个开始一个块的 HTML 标记，象 <html>，<head>，<body> 或 <pre> 等，或是一个独一的标记，象 <br> 或 <img> 等。当它找到一个开始标记 tagname，SGMLParser 将查找名为 start_tagname 或 do_tagname 的方法。例如，当它找到一个 <pre> 标记，它将查找一个 start_pre 或 do_pre 的方法。如果找到了，SGMLParser 会使用这个标记的属性列表来调用这个方法；否则，它用这个标记的名字和属性列表来调用 unknown_starttag 方法。 
  • 结束标记 (End tag) 
是结束一个块的 HTML 标记，象 </html>，</head>，</body> 或 </pre> 等。当找到一个结束标记时，SGMLParser 将查找名为 end_tagname 的方法。如果找到，SGMLParser 调用这个方法，否则它使用标记的名字来调用 unknown_endtag 。 
  • 字符引用 (Character reference) 
用字符的十进制或等同的十六进制来表示的转义字符，象  。当找到，SGMLParser 使用十进制或等同的十六进制字符文本来调用 handle_charref 。 
  • 实体引用 (Entity reference) 
HTML 实体，象 ©。当找到，SGMLParser 使用 HTML 实体的名字来调用 handle_entityref 。 
  • 注释 (Comment) 
HTML 注释, 包括在 <!-- ... -->之间。当找到，SGMLParser 用注释内容来调用 handle_comment。 
  • 处理指令 (Processing instruction) 
HTML 处理指令，包括在 <? ... > 之间。当找到，SGMLParser 用处理指令内容来调用 handle_pi。 
  • 声明 (Declaration) 
HTML 声明，如 DOCTYPE，包括在 <! ... >之间。当找到，SGMLParser 用声明内容来调用 handle_decl。 
  • 文本数据 (Text data) 
文本块。不满足其它 7 种类别的任何东西。当找到，SGMLParser 用文本来调用 handle_data。 

综上，的到如下代码

from sgmllib import SGMLParser
class GetIdList(SGMLParser):
    def reset(self):
        self.IDlist = []
        self.flag = False
        self.getdata = False
        SGMLParser.reset(self)    def start_div(self, attrs):
        for k,v in attrs:#遍历div的所有属性以及其值
            if k == 'class' and v == 'entry-content':#确定进入了<div class='entry-content'>
                self.flag = True
                return

    def end_div(self):#遇到</div>
 self.flag = False
    def start_p(self, attrs):
        if self.flag == False:
            return
        self.getdata = True
    def end_p(self):#遇到</p>
        if self.getdata:
            self.getdata = False
    def handle_data(self, text):#处理文本
        if self.getdata:
            self.IDlist.append(text)
    def printID(self):
        for i in self.IDlist:
            print i

上面的思路存在一个bug
遇到</div>后 设置标记flag = False
如果遇到div嵌套怎么办？

<div class='entry-content'><div>我是来捣乱的</div><p>感兴趣</p></div>

在遇到第一个</div>之后标记flag = False，导致无法的到‘感兴趣内容'。
怎么办呢？如何判断遇到的</div>是和<div class='entry-content'>匹配的哪个呢？
很简单，</div>和<div>是对应的，我们可以记录他所处的层数。进入子层div verbatim加1,退出子层div  verbatim减1.这样就可以判断是否是同一层了。

修改后 如下

from sgmllib import SGMLParser
class GetIdList(SGMLParser):
    def reset(self):
        self.IDlist = []
        self.flag = False
        self.getdata = False
        self.verbatim = 0
        SGMLParser.reset(self)    def start_div(self, attrs):
        if self.flag == True:
            self.verbatim +=1 #进入子层div了，层数加1
            return
        for k,v in attrs:#遍历div的所有属性以及其值
            if k == 'class' and v == 'entry-content':#确定进入了<div class='entry-content'>
                self.flag = True
                return

    def end_div(self):#遇到</div>
        if self.verbatim == 0:
            self.flag = False
        if self.flag == True:#退出子层div了，层数减1
            self.verbatim -=1
    def start_p(self, attrs):
        if self.flag == False:
            return
        self.getdata = True
    def end_p(self):#遇到</p>
        if self.getdata:
            self.getdata = False
    def handle_data(self, text):#处理文本
        if self.getdata:
            self.IDlist.append(text)
    def printID(self):
        for i in self.IDlist:
            print i

最后  建立了我们自己的类GetIdList后如何使用呢？
简单建立实例 t = GetIdList()
the_page为字符串，内容为html
t.feed(the_page)#对html解析

t.printID()打印出结果

全部测试代码为

from sgmllib import SGMLParser
class GetIdList(SGMLParser):
    def reset(self):
        self.IDlist = []
        self.flag = False
        self.getdata = False
        self.verbatim = 0
        SGMLParser.reset(self)    def start_div(self, attrs):
        if self.flag == True:
            self.verbatim +=1 #进入子层div了，层数加1
            return
        for k,v in attrs:#遍历div的所有属性以及其值
            if k == 'class' and v == 'entry-content':#确定进入了<div class='entry-content'>
                self.flag = True
                return

    def end_div(self):#遇到</div>
        if self.verbatim == 0:
            self.flag = False
        if self.flag == True:#退出子层div了，层数减1
            self.verbatim -=1
    def start_p(self, attrs):
        if self.flag == False:
            return
        self.getdata = True
    def end_p(self):#遇到</p>
        if self.getdata:
            self.getdata = False
    def handle_data(self, text):#处理文本
        if self.getdata:
            self.IDlist.append(text)
    def printID(self):
        for i in self.IDlist:
            print i

##import urllib2
##import datetime
##vrg = (datetime.date(2012,2,19) - datetime.date.today()).days
##strUrl = 'http://www.nod32id.org/nod32id/%d.html'%(200+vrg)
##req = urllib2.Request(strUrl)#通过网络获取网页
##response = urllib2.urlopen(req)
##the_page = response.read()
the_page ='''<html>
<head>
<title>test</title>
</head>
<body>
<h1>title</h1>
<div class='entry-content'>
<div class= 'ooxx'>我是来捣乱的</div>
<p>感兴趣内容1</p>
<p>感兴趣内容2</p>
……
<p>感兴趣内容n</p>
<div class= 'ooxx'>我是来捣乱的2<div class= 'ooxx'>我是来捣乱的3</div></div>
</div>
<div class='content'>
<p>内容1</p>
<p>内容2</p>
……
<p>内容n</p>
</div>
</body>
</html>
'''
lister = GetIdList()
lister.feed(the_page)
lister.printID()

执行后 输出为 

感兴趣内容1
感兴趣内容2
感兴趣内容n

参考文献

[1] 深入 Python:Dive Into Python 中文版

使用python提取html文件中的特定数据的实现代码

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
python多重继承实例
Oct 11 Python
深入解析Python中的descriptor描述器的作用及用法
Jun 27 Python
Python序列操作之进阶篇
Dec 08 Python
Centos7 Python3下安装scrapy的详细步骤
Mar 15 Python
selenium+python实现自动化登录的方法
Sep 04 Python
python中的print()输出
Apr 12 Python
解决Tensorflow 使用时cpu编译不支持警告的问题
Feb 03 Python
Python Selenium 设置元素等待的三种方式
Mar 18 Python
python实现音乐播放和下载小程序功能
Apr 26 Python
用Python在Excel里画出蒙娜丽莎的方法示例
Apr 28 Python
pandas之分组groupby()的使用整理与总结
Jun 18 Python
Python爬取豆瓣数据实现过程解析
Oct 27 Python
python 切片和range()用法说明
Mar 24 #Python
python list中append()与extend()用法分享
Mar 24 #Python
python del()函数用法
Mar 24 #Python
python dict remove数组删除(del,pop)
Mar 24 #Python
python str与repr的区别
Mar 23 #Python
python 布尔操作实现代码
Mar 23 #Python
python 字符串split的用法分享
Mar 23 #Python
字符画(1) cudnn(1) Git(3) webpack(1) dict(1) 脚本(1) callback(1) cudn(1) 热力图(1) RTX 3050 ti(1)
You might like
论坛头像随机变换代码
2006/10/09 PHP
一个简单php扩展介绍与开发教程
2010/08/19 PHP
选择PHP作为网站开发语言的原因分享
2012/01/03 PHP
实用的简单PHP分页集合包括使用方法
2013/10/21 PHP
php实现的双向队列类实例
2014/09/24 PHP
PHP使用第三方即时获取物流动态实例详解
2017/04/27 PHP
jquery cookie的用法总结
2013/11/18 Javascript
js获取浏览器基本信息大全
2014/11/27 Javascript
jQuery Chart图表制作组件Highcharts用法详解
2016/06/01 Javascript
AngularJS 霸道的过滤器小结
2017/04/26 Javascript
基于代数方程库Algebra.js解二元一次方程功能示例
2017/06/09 Javascript
js CSS3实现卡牌旋转切换效果
2017/07/04 Javascript
详细AngularJs4的图片剪裁组件的实例
2017/07/12 Javascript
独立部署小程序基于nodejs的服务器过程详解
2019/06/24 NodeJs
Vue编程式跳转的实例代码详解
2019/07/10 Javascript
[52:41]OG vs IG 2018国际邀请赛小组赛BO2 第二场 8.18
2018/08/20 DOTA
[02:12]Dota 2 推出全新英雄—— 电炎绝手
2019/08/23 DOTA
详解Django框架中用户的登录和退出的实现
2015/07/23 Python
Python爬虫实现百度图片自动下载
2018/02/04 Python
python爬取哈尔滨天气信息
2018/07/14 Python
在Pycharm中自动添加时间日期作者等信息的方法
2019/01/16 Python
numpy.random.shuffle打乱顺序函数的实现
2019/09/10 Python
new_zeros() pytorch版本的转换方式
2020/02/18 Python
详解px单位html5响应式方案
2018/03/08 HTML / CSS
番木瓜健康和保健产品第一大制造商：Herbal Papaya
2017/04/25 全球购物
优秀的毕业生的自我评价
2013/12/12 职场文书
奥运会口号
2014/06/13 职场文书
医院领导班子查摆问题对照检查材料思想汇报
2014/10/08 职场文书
宣传稿格式范文
2015/07/23 职场文书
《圆的面积》教学反思
2016/02/19 职场文书
2016年企业先进员工事迹材料
2016/02/25 职场文书
浅谈Python中的函数(def)及参数传递操作
2021/05/25 Python
QT与javascript交互数据的实现
2021/05/26 Javascript
Python OpenCV 图像平移的实现示例
2021/06/04 Python
Java基于字符界面的简易收银台
2021/06/26 Java/Android
Docker官方工具docker-registry案例演示
2022/04/13 Servers