Python HTMLParser模块解析html获取url实例


Posted in Python onApril 08, 2015

HTMLParser是python用来解析html的模块。它可以分析出html里面的标签、数据等等,是一种处理html的简便途径。HTMLParser采用的是一种事件驱动的模式,当HTMLParser找到一个特定的标记时,它会去调用一个用户定义的函数,以此来通知程序处理。它主要的用户回调函数的命名都是以handler_开头的,都是HTMLParser的成员函数。当我们使用时,就从HTMLParser派生出新的类,然后重新定义这几个以handler_开头的函数即可。这几个函数包括:

handle_startendtag  处理开始标签和结束标签
handle_starttag     处理开始标签,比如<xx>
handle_endtag       处理结束标签,比如</xx>
handle_charref      处理特殊字符串,就是以&#开头的,一般是内码表示的字符
handle_entityref    处理一些特殊字符,以&开头的,比如  
handle_data         处理数据,就是<xx>data</xx>中间的那些数据
handle_comment      处理注释
handle_decl         处理<!开头的,比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
handle_pi           处理形如<?instruction>的东西

这里我以从网页中获取到url为例,介绍一下。要想获取到url,肯定是要分析<a>标签,然后取到它的href属性的值。下面是代码:

#-*- encoding: gb2312 -*-
import HTMLParser

class MyParser(HTMLParser.HTMLParser):
  def __init__(self):
    HTMLParser.HTMLParser.__init__(self)    
    
  def handle_starttag(self, tag, attrs):
    # 这里重新定义了处理开始标签的函数
    if tag == 'a':
      # 判断标签<a>的属性
      for name,value in attrs:
        if name == 'href':
          print value
    

if __name__ == '__main__':
  a = '<html><head><title>test</title><body><a href="http://www.163.com">链接到163</a></body></html>'
  
  my = MyParser()
  # 传入要分析的数据,是html的。
  my.feed(a)
Python 相关文章推荐
Python cx_freeze打包工具处理问题思路及解决办法
Feb 13 Python
python利用高阶函数实现剪枝函数
Mar 20 Python
Python实现使用卷积提取图片轮廓功能示例
May 12 Python
浅谈numpy生成数组的零值问题
Nov 12 Python
Django实现跨域的2种方法
Jul 31 Python
Python图像处理库PIL中图像格式转换的实现
Feb 26 Python
django项目中新增app的2种实现方法
Apr 01 Python
浅谈python多线程和多线程变量共享问题介绍
Apr 17 Python
区分python中的进程与线程
Aug 13 Python
python中绕过反爬虫的方法总结
Nov 25 Python
在pyCharm中下载第三方库的方法
Apr 18 Python
pycharm安装深度学习pytorch的d2l包失败问题解决
Mar 25 Python
python内存管理分析
Apr 08 #Python
Python中关于字符串对象的一些基础知识
Apr 08 #Python
Python MySQLdb模块连接操作mysql数据库实例
Apr 08 #Python
python单例模式实例分析
Apr 08 #Python
在Docker上部署Python的Flask框架的教程
Apr 08 #Python
python threading模块操作多线程介绍
Apr 08 #Python
Python使用scrapy采集数据时为每个请求随机分配user-agent的方法
Apr 08 #Python
You might like
WinXP + Apache +PHP5 + MySQL + phpMyAdmin安装全功略
2006/07/09 PHP
apache+mysql+php+ssl服务器之完全安装攻略
2006/09/05 PHP
php的ajax框架xajax入门与试用介绍
2010/12/19 PHP
深入PHP magic quotes的详解
2013/06/17 PHP
PHP异常Parse error: syntax error, unexpected T_VAR错误解决方法
2014/05/06 PHP
PHP实现websocket通信的方法示例
2018/08/28 PHP
php判断IP地址是否在多个IP段内
2020/08/18 PHP
js截取固定长度的中英文字符的简单实例
2013/11/22 Javascript
判断浏览器的内核及版本号方法汇总
2015/01/05 Javascript
jQuery向后台传入json格式数据的方法
2015/02/13 Javascript
JS利用cookie记忆当前位置的防刷新导航效果
2015/10/15 Javascript
不同js异步函数同步的实现方法
2016/05/28 Javascript
微信小程序 火车票查询实例讲解
2016/10/17 Javascript
遍历json 对象的属性并且动态添加属性的实现
2016/12/02 Javascript
jQuery弹出层插件popShow用法示例
2017/01/23 Javascript
详解React开发中使用require.ensure()按需加载ES6组件
2017/05/12 Javascript
jquery拖动改变div大小
2017/07/04 jQuery
基于element-ui组件手动实现单选和上传功能
2018/12/06 Javascript
基于Vue的商品主图放大镜方案详解
2019/09/19 Javascript
Python入门篇之文件
2014/10/20 Python
在Django的URLconf中使用多个视图前缀的方法
2015/07/18 Python
django中的HTML控件及参数传递方法
2018/03/20 Python
使用 Python 玩转 GitHub 的贡献板(推荐)
2019/04/04 Python
在Python中预先初始化列表内容和长度的实现
2019/11/28 Python
Python如何批量获取文件夹的大小并保存
2020/03/31 Python
美国医疗用品、医疗设备和家庭保健用品商店:Medical Supply Depot
2018/07/08 全球购物
创意爱尔兰礼物:Creative Irish Gifts
2020/01/29 全球购物
SQL Server 2000数据库的文件有哪些,分别进行描述。
2015/11/09 面试题
大学生自我评价怎样写好
2013/10/23 职场文书
工地安全质量标语
2014/06/07 职场文书
基层工作经验证明样本
2014/11/16 职场文书
党员年终个人总结
2015/02/14 职场文书
春节随笔
2015/08/15 职场文书
趣味运动会口号
2015/12/24 职场文书
导游词之山东八仙过海景区
2019/11/11 职场文书
教你用Python matplotlib库制作简单的动画
2021/06/11 Python