Python HTMLParser模块解析html获取url实例


Posted in Python onApril 08, 2015

HTMLParser是python用来解析html的模块。它可以分析出html里面的标签、数据等等,是一种处理html的简便途径。HTMLParser采用的是一种事件驱动的模式,当HTMLParser找到一个特定的标记时,它会去调用一个用户定义的函数,以此来通知程序处理。它主要的用户回调函数的命名都是以handler_开头的,都是HTMLParser的成员函数。当我们使用时,就从HTMLParser派生出新的类,然后重新定义这几个以handler_开头的函数即可。这几个函数包括:

handle_startendtag  处理开始标签和结束标签
handle_starttag     处理开始标签,比如<xx>
handle_endtag       处理结束标签,比如</xx>
handle_charref      处理特殊字符串,就是以&#开头的,一般是内码表示的字符
handle_entityref    处理一些特殊字符,以&开头的,比如  
handle_data         处理数据,就是<xx>data</xx>中间的那些数据
handle_comment      处理注释
handle_decl         处理<!开头的,比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
handle_pi           处理形如<?instruction>的东西

这里我以从网页中获取到url为例,介绍一下。要想获取到url,肯定是要分析<a>标签,然后取到它的href属性的值。下面是代码:

#-*- encoding: gb2312 -*-
import HTMLParser

class MyParser(HTMLParser.HTMLParser):
  def __init__(self):
    HTMLParser.HTMLParser.__init__(self)    
    
  def handle_starttag(self, tag, attrs):
    # 这里重新定义了处理开始标签的函数
    if tag == 'a':
      # 判断标签<a>的属性
      for name,value in attrs:
        if name == 'href':
          print value
    

if __name__ == '__main__':
  a = '<html><head><title>test</title><body><a href="http://www.163.com">链接到163</a></body></html>'
  
  my = MyParser()
  # 传入要分析的数据,是html的。
  my.feed(a)
Python 相关文章推荐
Python Queue模块详细介绍及实例
Dec 27 Python
python实现windows下文件备份脚本
May 27 Python
详解Django中类视图使用装饰器的方式
Aug 12 Python
python使用正则表达式来获取文件名的前缀方法
Oct 21 Python
Python实现将通信达.day文件读取为DataFrame
Dec 22 Python
Python远程方法调用实现过程解析
Jul 28 Python
Python实现一个优先级队列的方法
Jul 31 Python
python对批量WAV音频进行等长分割的方法实现
Sep 25 Python
python中的split、rsplit、splitlines用法说明
Oct 23 Python
Python中logging日志的四个等级和使用
Nov 17 Python
Numpy中的数组搜索中np.where方法详细介绍
Jan 08 Python
python中filter,map,reduce的作用
Jun 10 Python
python内存管理分析
Apr 08 #Python
Python中关于字符串对象的一些基础知识
Apr 08 #Python
Python MySQLdb模块连接操作mysql数据库实例
Apr 08 #Python
python单例模式实例分析
Apr 08 #Python
在Docker上部署Python的Flask框架的教程
Apr 08 #Python
python threading模块操作多线程介绍
Apr 08 #Python
Python使用scrapy采集数据时为每个请求随机分配user-agent的方法
Apr 08 #Python
You might like
为IP查询添加GOOGLE地图功能的代码
2010/08/08 PHP
php 启动报错如何解决
2014/01/17 PHP
PHP实现电商订单自动确认收货redis队列
2017/05/17 PHP
Laravel中10个有用的用法小结
2019/05/06 PHP
js Html结构转字符串形式显示代码
2011/11/15 Javascript
js 获取时间间隔实现代码
2014/05/12 Javascript
jQuery实现渐变下拉菜单的简单方法
2015/03/11 Javascript
在Javascript中处理数组之toSource()方法的使用
2015/06/09 Javascript
浅析C/C++,Java,PHP,JavaScript,Json数组、对象赋值时最后一个元素后面是否可以带逗号
2016/03/22 Javascript
JavaScript实战(原生range和自定义特效)简单实例
2016/08/21 Javascript
Jquery遍历select option和添加移除option的实现方法
2016/08/26 Javascript
javascript 利用arguments实现可变长参数
2016/11/21 Javascript
详解用原生JavaScript实现jQuery的某些简单功能
2016/12/19 Javascript
javascript使用递归算法求两个数字组合功能示例
2017/01/03 Javascript
jQuery使用eraser.js插件实现擦除、刮刮卡效果的方法【附eraser.js下载】
2017/04/28 jQuery
深入浅析ES6 Class 中的 super 关键字
2017/10/20 Javascript
[02:04]2018DOTA2亚洲邀请赛Secret赛前采访
2018/04/03 DOTA
Python基于twisted实现简单的web服务器
2014/09/29 Python
Python shutil模块用法实例分析
2019/10/02 Python
如何修复使用 Python ORM 工具 SQLAlchemy 时的常见陷阱
2019/11/19 Python
PyTorch里面的torch.nn.Parameter()详解
2020/01/03 Python
Django ORM判断查询结果是否为空,判断django中的orm为空实例
2020/07/09 Python
python进度条显示之tqmd模块
2020/08/22 Python
django跳转页面传参的实现
2020/09/17 Python
用CSS3实现瀑布流布局的示例代码
2017/11/10 HTML / CSS
泰国健康和美容服务预订网站:GoWabi
2019/06/03 全球购物
linux比较文件内容的命令是什么
2015/09/23 面试题
高中的职业生涯规划书
2013/12/28 职场文书
气象学专业个人求职信
2014/03/15 职场文书
美丽乡村建设实施方案
2014/03/23 职场文书
经典的毕业生自荐信范文
2014/04/14 职场文书
小学生环保标语
2014/06/13 职场文书
商场圣诞节活动总结
2015/05/06 职场文书
浅谈Nginx 中的两种限流方式
2021/03/31 Servers
python元组打包和解包过程详解
2021/08/02 Python
vue中div禁止点击事件的实现
2022/04/02 Vue.js