Python HTMLParser模块解析html获取url实例


Posted in Python onApril 08, 2015

HTMLParser是python用来解析html的模块。它可以分析出html里面的标签、数据等等,是一种处理html的简便途径。HTMLParser采用的是一种事件驱动的模式,当HTMLParser找到一个特定的标记时,它会去调用一个用户定义的函数,以此来通知程序处理。它主要的用户回调函数的命名都是以handler_开头的,都是HTMLParser的成员函数。当我们使用时,就从HTMLParser派生出新的类,然后重新定义这几个以handler_开头的函数即可。这几个函数包括:

handle_startendtag  处理开始标签和结束标签
handle_starttag     处理开始标签,比如<xx>
handle_endtag       处理结束标签,比如</xx>
handle_charref      处理特殊字符串,就是以&#开头的,一般是内码表示的字符
handle_entityref    处理一些特殊字符,以&开头的,比如  
handle_data         处理数据,就是<xx>data</xx>中间的那些数据
handle_comment      处理注释
handle_decl         处理<!开头的,比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
handle_pi           处理形如<?instruction>的东西

这里我以从网页中获取到url为例,介绍一下。要想获取到url,肯定是要分析<a>标签,然后取到它的href属性的值。下面是代码:

#-*- encoding: gb2312 -*-
import HTMLParser

class MyParser(HTMLParser.HTMLParser):
  def __init__(self):
    HTMLParser.HTMLParser.__init__(self)    
    
  def handle_starttag(self, tag, attrs):
    # 这里重新定义了处理开始标签的函数
    if tag == 'a':
      # 判断标签<a>的属性
      for name,value in attrs:
        if name == 'href':
          print value
    

if __name__ == '__main__':
  a = '<html><head><title>test</title><body><a href="http://www.163.com">链接到163</a></body></html>'
  
  my = MyParser()
  # 传入要分析的数据,是html的。
  my.feed(a)
Python 相关文章推荐
python创建临时文件夹的方法
Jul 06 Python
Django中对数据查询结果进行排序的方法
Jul 17 Python
Python3 循环语句(for、while、break、range等)
Nov 20 Python
Python实现求解一元二次方程的方法示例
Jun 20 Python
啥是佩奇?使用Python自动绘画小猪佩奇的代码实例
Feb 20 Python
PyQt5组件读取参数的实例
Jun 25 Python
解决python3 requests headers参数不能有中文的问题
Aug 21 Python
python库skimage给灰度图像染色的方法示例
Apr 27 Python
python pandas dataframe 去重函数的具体使用
Jul 20 Python
k-means & DBSCAN 总结
Apr 27 Python
python通过函数名调用函数的几种方法总结
Jun 07 Python
整理Python中常用的conda命令操作
Jun 15 Python
python内存管理分析
Apr 08 #Python
Python中关于字符串对象的一些基础知识
Apr 08 #Python
Python MySQLdb模块连接操作mysql数据库实例
Apr 08 #Python
python单例模式实例分析
Apr 08 #Python
在Docker上部署Python的Flask框架的教程
Apr 08 #Python
python threading模块操作多线程介绍
Apr 08 #Python
Python使用scrapy采集数据时为每个请求随机分配user-agent的方法
Apr 08 #Python
You might like
Apache2 httpd.conf 中文版
2006/12/06 PHP
php设计模式 Command(命令模式)
2011/06/26 PHP
php利用cookie实现自动登录的方法
2014/12/10 PHP
php生成gif动画的方法
2015/11/05 PHP
php面向对象之反射功能与用法分析
2017/03/29 PHP
php pdo连接数据库操作示例
2019/11/18 PHP
2014 年最热门的21款JavaScript框架推荐
2014/12/25 Javascript
JavaScript判断对象是否为数组
2015/12/22 Javascript
BootStrap与Select2使用小结
2017/02/17 Javascript
代码详解JS操作剪贴板
2018/02/11 Javascript
React如何避免重渲染
2018/04/10 Javascript
JavaScript递归函数定义与用法实例分析
2019/01/24 Javascript
vue 获取视频时长的实例代码
2019/08/20 Javascript
原生js实现无缝轮播图效果
2021/01/28 Javascript
[05:41]2014DOTA2西雅图国际邀请赛 小组赛7月10日TOPPLAY
2014/07/10 DOTA
Python中几个比较常见的名词解释
2015/07/04 Python
简单的python后台管理程序
2017/04/13 Python
利用python求解物理学中的双弹簧质能系统详解
2017/09/29 Python
python 时间信息“2018-02-04 18:23:35“ 解析成字典形式的结果代码详解
2018/04/19 Python
python学生管理系统学习笔记
2019/03/19 Python
如何将Pycharm中调整字体大小的方式设置为&quot;ctrl+鼠标滚轮上下滑&quot;
2020/11/17 Python
如何用python 操作zookeeper
2020/12/28 Python
python中添加模块导入路径的方法
2021/02/03 Python
使用Html5中的cavas画一面国旗
2019/09/25 HTML / CSS
Monnier Frères美国官网:法国知名奢侈品网站
2016/11/22 全球购物
Java程序员常见面试题
2015/07/16 面试题
经济管理专业毕业生推荐信
2013/11/11 职场文书
酒店总经理工作职责
2013/12/13 职场文书
五年级数学教学反思
2014/02/11 职场文书
市场营销方案范文
2014/03/11 职场文书
秋天的雨教学反思
2014/04/27 职场文书
大学迎新标语
2014/06/26 职场文书
初中教师个人工作总结
2015/02/10 职场文书
公司处罚决定书
2015/06/24 职场文书
职工宿舍管理制度
2015/08/05 职场文书
关于vue中如何监听数组变化
2021/04/28 Vue.js