首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

使用python提取html文件中的特定数据的实现代码

Posted in Python onMarch 24, 2013

例如 具有如下结构的html文件 

<div class='entry-content'> 
<p>感兴趣内容1</p> 
<p>感兴趣内容2</p> 
…… 
<p>感兴趣内容n</p> 
</div> 
<div class='content'> 
<p>内容1</p> 
<p>内容2</p> 
…… 
<p>内容n</p> 
</div>

我们尝试获得'感兴趣内容'

对于文本内容,我们保存到IDList中。
可是如何标记我们遇到的文本是感兴趣的内容呢，也就是，处于 

<div class='entry-content'> 
<p>这里的内容</p> 
<p>还有这里</p> 
…… 
<p>以及这里的内容</p> 
</div>

思路如下

  1. 遇到<div class='entry-content'> 设置标记flag = True
  2. 遇到</div>后 设置标记flag = False
  3. 当flag 为True时遇到<p> 设置标记getdata = True
  4. 遇到</p> 且getdata = True,设置getdata = False

python为我们提供了SGMLParser类，SGMLParser 将 HTML 分析成 8 类数据[1]，然后对每一类调用单独的方法:使用时只需继承SGMLParser 类，并编写页面信息的处理函数。

可用的处理函数如下：

  • 开始标记 (Start tag) 
是一个开始一个块的 HTML 标记，象 <html>，<head>，<body> 或 <pre> 等，或是一个独一的标记，象 <br> 或 <img> 等。当它找到一个开始标记 tagname，SGMLParser 将查找名为 start_tagname 或 do_tagname 的方法。例如，当它找到一个 <pre> 标记，它将查找一个 start_pre 或 do_pre 的方法。如果找到了，SGMLParser 会使用这个标记的属性列表来调用这个方法；否则，它用这个标记的名字和属性列表来调用 unknown_starttag 方法。 
  • 结束标记 (End tag) 
是结束一个块的 HTML 标记，象 </html>，</head>，</body> 或 </pre> 等。当找到一个结束标记时，SGMLParser 将查找名为 end_tagname 的方法。如果找到，SGMLParser 调用这个方法，否则它使用标记的名字来调用 unknown_endtag 。 
  • 字符引用 (Character reference) 
用字符的十进制或等同的十六进制来表示的转义字符，象  。当找到，SGMLParser 使用十进制或等同的十六进制字符文本来调用 handle_charref 。 
  • 实体引用 (Entity reference) 
HTML 实体，象 ©。当找到，SGMLParser 使用 HTML 实体的名字来调用 handle_entityref 。 
  • 注释 (Comment) 
HTML 注释, 包括在 <!-- ... -->之间。当找到，SGMLParser 用注释内容来调用 handle_comment。 
  • 处理指令 (Processing instruction) 
HTML 处理指令，包括在 <? ... > 之间。当找到，SGMLParser 用处理指令内容来调用 handle_pi。 
  • 声明 (Declaration) 
HTML 声明，如 DOCTYPE，包括在 <! ... >之间。当找到，SGMLParser 用声明内容来调用 handle_decl。 
  • 文本数据 (Text data) 
文本块。不满足其它 7 种类别的任何东西。当找到，SGMLParser 用文本来调用 handle_data。 

综上，的到如下代码

from sgmllib import SGMLParser
class GetIdList(SGMLParser):
    def reset(self):
        self.IDlist = []
        self.flag = False
        self.getdata = False
        SGMLParser.reset(self)    def start_div(self, attrs):
        for k,v in attrs:#遍历div的所有属性以及其值
            if k == 'class' and v == 'entry-content':#确定进入了<div class='entry-content'>
                self.flag = True
                return

    def end_div(self):#遇到</div>
 self.flag = False
    def start_p(self, attrs):
        if self.flag == False:
            return
        self.getdata = True
    def end_p(self):#遇到</p>
        if self.getdata:
            self.getdata = False
    def handle_data(self, text):#处理文本
        if self.getdata:
            self.IDlist.append(text)
    def printID(self):
        for i in self.IDlist:
            print i

上面的思路存在一个bug
遇到</div>后 设置标记flag = False
如果遇到div嵌套怎么办？

<div class='entry-content'><div>我是来捣乱的</div><p>感兴趣</p></div>

在遇到第一个</div>之后标记flag = False，导致无法的到‘感兴趣内容'。
怎么办呢？如何判断遇到的</div>是和<div class='entry-content'>匹配的哪个呢？
很简单，</div>和<div>是对应的，我们可以记录他所处的层数。进入子层div verbatim加1,退出子层div  verbatim减1.这样就可以判断是否是同一层了。

修改后 如下

from sgmllib import SGMLParser
class GetIdList(SGMLParser):
    def reset(self):
        self.IDlist = []
        self.flag = False
        self.getdata = False
        self.verbatim = 0
        SGMLParser.reset(self)    def start_div(self, attrs):
        if self.flag == True:
            self.verbatim +=1 #进入子层div了，层数加1
            return
        for k,v in attrs:#遍历div的所有属性以及其值
            if k == 'class' and v == 'entry-content':#确定进入了<div class='entry-content'>
                self.flag = True
                return

    def end_div(self):#遇到</div>
        if self.verbatim == 0:
            self.flag = False
        if self.flag == True:#退出子层div了，层数减1
            self.verbatim -=1
    def start_p(self, attrs):
        if self.flag == False:
            return
        self.getdata = True
    def end_p(self):#遇到</p>
        if self.getdata:
            self.getdata = False
    def handle_data(self, text):#处理文本
        if self.getdata:
            self.IDlist.append(text)
    def printID(self):
        for i in self.IDlist:
            print i

最后  建立了我们自己的类GetIdList后如何使用呢？
简单建立实例 t = GetIdList()
the_page为字符串，内容为html
t.feed(the_page)#对html解析

t.printID()打印出结果

全部测试代码为

from sgmllib import SGMLParser
class GetIdList(SGMLParser):
    def reset(self):
        self.IDlist = []
        self.flag = False
        self.getdata = False
        self.verbatim = 0
        SGMLParser.reset(self)    def start_div(self, attrs):
        if self.flag == True:
            self.verbatim +=1 #进入子层div了，层数加1
            return
        for k,v in attrs:#遍历div的所有属性以及其值
            if k == 'class' and v == 'entry-content':#确定进入了<div class='entry-content'>
                self.flag = True
                return

    def end_div(self):#遇到</div>
        if self.verbatim == 0:
            self.flag = False
        if self.flag == True:#退出子层div了，层数减1
            self.verbatim -=1
    def start_p(self, attrs):
        if self.flag == False:
            return
        self.getdata = True
    def end_p(self):#遇到</p>
        if self.getdata:
            self.getdata = False
    def handle_data(self, text):#处理文本
        if self.getdata:
            self.IDlist.append(text)
    def printID(self):
        for i in self.IDlist:
            print i

##import urllib2
##import datetime
##vrg = (datetime.date(2012,2,19) - datetime.date.today()).days
##strUrl = 'http://www.nod32id.org/nod32id/%d.html'%(200+vrg)
##req = urllib2.Request(strUrl)#通过网络获取网页
##response = urllib2.urlopen(req)
##the_page = response.read()
the_page ='''<html>
<head>
<title>test</title>
</head>
<body>
<h1>title</h1>
<div class='entry-content'>
<div class= 'ooxx'>我是来捣乱的</div>
<p>感兴趣内容1</p>
<p>感兴趣内容2</p>
……
<p>感兴趣内容n</p>
<div class= 'ooxx'>我是来捣乱的2<div class= 'ooxx'>我是来捣乱的3</div></div>
</div>
<div class='content'>
<p>内容1</p>
<p>内容2</p>
……
<p>内容n</p>
</div>
</body>
</html>
'''
lister = GetIdList()
lister.feed(the_page)
lister.printID()

执行后 输出为 

感兴趣内容1
感兴趣内容2
感兴趣内容n

参考文献

[1] 深入 Python:Dive Into Python 中文版

使用python提取html文件中的特定数据的实现代码

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
Python操作列表的常用方法分享
Feb 13 Python
Python中使用ConfigParser解析ini配置文件实例
Aug 30 Python
Centos Python2 升级到Python3的简单实现
Jun 21 Python
从零开始学Python第八周：详解网络编程基础（socket)
Dec 14 Python
Python 类的继承实例详解
Mar 25 Python
Python获取SQLite查询结果表列名的方法
Jun 21 Python
Python使用回溯法子集树模板获取最长公共子序列（LCS）的方法
Sep 08 Python
Python读取Excel表格,并同时画折线图和柱状图的方法
Oct 14 Python
jupyter notebook 中输出pyecharts图实例
Apr 23 Python
如何在Django项目中引入静态文件
Jul 26 Python
Pycharm 使用 Pipenv 新建的虚拟环境(图文详解)
Apr 16 Python
Python获取浏览器窗口句柄过程解析
Jul 25 Python
python 切片和range()用法说明
Mar 24 #Python
python list中append()与extend()用法分享
Mar 24 #Python
python del()函数用法
Mar 24 #Python
python dict remove数组删除(del,pop)
Mar 24 #Python
python str与repr的区别
Mar 23 #Python
python 布尔操作实现代码
Mar 23 #Python
python 字符串split的用法分享
Mar 23 #Python
请假条(31) 寄语(276) 评语(336) 建议书(203) 决心书(42) 倡议书(159) 责任书(145) 保证书(97) 感谢信(72) 活动总结(790)
You might like
PHP获得用户使用的代理服务器ip即真实ip
2006/12/31 PHP
PHP SESSION的增加、删除、修改、查看操作
2015/03/20 PHP
ThinkPHP2.x防范XSS跨站攻击的方法
2015/09/25 PHP
Laravel 微信小程序后端搭建步骤详解
2019/11/26 PHP
nodejs实用示例 缩址还原
2010/12/28 NodeJs
解决jquery异步按一定的时间间隔刷新问题
2012/12/10 Javascript
密码强度检测效果实现原理与代码
2013/01/04 Javascript
关于jQuery新的事件绑定机制on()的使用技巧
2013/04/26 Javascript
浅析Node在构建超媒体API中的作用
2014/07/30 Javascript
jQuery Masonry瀑布流插件使用详解
2014/11/17 Javascript
jQuery根据元素值删除数组元素的方法
2015/06/24 Javascript
ajax实现动态下拉框示例
2017/01/10 Javascript
将Sublime Text 3 添加到右键中的简单方法
2017/12/12 Javascript
mongoose更新对象的两种方法示例比较
2017/12/19 Javascript
解决angularjs前后端分离调用接口传递中文时中文乱码的问题
2018/08/13 Javascript
koa2+vue实现登陆及登录状态判断
2019/08/15 Javascript
基于Vue和Element-Ui搭建项目的方法
2019/09/06 Javascript
[00:32]2018DOTA2亚洲邀请赛VG出场
2018/04/03 DOTA
搞笑的程序猿：看看你是哪种Python程序员
2015/06/12 Python
Python中工作日类库Busines Holiday的介绍与使用
2017/07/06 Python
Python实现读取txt文件并画三维图简单代码示例
2017/12/09 Python
解决pycharm无法调用pip安装的包问题
2018/05/18 Python
python 正确保留多位小数的实例
2018/07/16 Python
pytorch读取图像数据转成opencv格式实例
2020/06/02 Python
在python3.9下如何安装scrapy的方法
2021/02/03 Python
使用HTML5做个画图板的方法介绍
2013/05/03 HTML / CSS
如何给HTML标签中的文本设置修饰线
2019/11/18 HTML / CSS
Gap工厂店：Gap Factory
2017/11/02 全球购物
德国游戏机商店：Konsolenkost
2019/12/08 全球购物
手术室护士自我鉴定
2013/10/14 职场文书
工程总经理工作职责
2013/12/09 职场文书
元旦晚会邀请函
2014/02/01 职场文书
《数星星的孩子》教学反思
2014/04/11 职场文书
党员群众路线个人整改措施思想汇报
2014/10/12 职场文书
教师辞职书范文
2015/02/26 职场文书
趣味运动会赞词
2015/07/22 职场文书