Python HTMLParser模块解析html获取url实例


Posted in Python onApril 08, 2015

HTMLParser是python用来解析html的模块。它可以分析出html里面的标签、数据等等,是一种处理html的简便途径。HTMLParser采用的是一种事件驱动的模式,当HTMLParser找到一个特定的标记时,它会去调用一个用户定义的函数,以此来通知程序处理。它主要的用户回调函数的命名都是以handler_开头的,都是HTMLParser的成员函数。当我们使用时,就从HTMLParser派生出新的类,然后重新定义这几个以handler_开头的函数即可。这几个函数包括:

handle_startendtag  处理开始标签和结束标签
handle_starttag     处理开始标签,比如<xx>
handle_endtag       处理结束标签,比如</xx>
handle_charref      处理特殊字符串,就是以&#开头的,一般是内码表示的字符
handle_entityref    处理一些特殊字符,以&开头的,比如  
handle_data         处理数据,就是<xx>data</xx>中间的那些数据
handle_comment      处理注释
handle_decl         处理<!开头的,比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
handle_pi           处理形如<?instruction>的东西

这里我以从网页中获取到url为例,介绍一下。要想获取到url,肯定是要分析<a>标签,然后取到它的href属性的值。下面是代码:

#-*- encoding: gb2312 -*-
import HTMLParser

class MyParser(HTMLParser.HTMLParser):
  def __init__(self):
    HTMLParser.HTMLParser.__init__(self)    
    
  def handle_starttag(self, tag, attrs):
    # 这里重新定义了处理开始标签的函数
    if tag == 'a':
      # 判断标签<a>的属性
      for name,value in attrs:
        if name == 'href':
          print value
    

if __name__ == '__main__':
  a = '<html><head><title>test</title><body><a href="http://www.163.com">链接到163</a></body></html>'
  
  my = MyParser()
  # 传入要分析的数据,是html的。
  my.feed(a)
Python 相关文章推荐
wxPython窗口的继承机制实例分析
Sep 28 Python
Python递归函数定义与用法示例
Jun 02 Python
Python使用requests及BeautifulSoup构建爬虫实例代码
Jan 24 Python
Python socket实现的简单通信功能示例
Aug 21 Python
Python安装Flask环境及简单应用示例
May 03 Python
基于YUV 数据格式详解及python实现方式
Dec 09 Python
使用 Python ssh 远程登陆服务器的最佳方案
Mar 06 Python
解决python cv2.imread 读取中文路径的图片返回为None的问题
Jun 02 Python
tensorflow 2.1.0 安装与实战教程(CASIA FACE v5)
Jun 30 Python
详解Selenium-webdriver绕开反爬虫机制的4种方法
Oct 28 Python
pytorch Dataset,DataLoader产生自定义的训练数据案例
Mar 03 Python
python学习之panda数据分析核心支持库
May 07 Python
python内存管理分析
Apr 08 #Python
Python中关于字符串对象的一些基础知识
Apr 08 #Python
Python MySQLdb模块连接操作mysql数据库实例
Apr 08 #Python
python单例模式实例分析
Apr 08 #Python
在Docker上部署Python的Flask框架的教程
Apr 08 #Python
python threading模块操作多线程介绍
Apr 08 #Python
Python使用scrapy采集数据时为每个请求随机分配user-agent的方法
Apr 08 #Python
You might like
新浪SAE云平台下使用codeigniter的数据库配置
2014/06/12 PHP
Yii安装与使用Excel扩展的方法
2016/07/13 PHP
PHP数组式访问接口ArrayAccess用法分析
2017/12/28 PHP
JavaScript使用cookie
2007/02/02 Javascript
一个选择最快的服务器转向代码
2009/04/27 Javascript
javascript 多种搜索引擎集成的页面实现代码
2010/01/02 Javascript
jQuery实现用户注册的表单验证示例
2013/08/28 Javascript
利用js读取动态网站从服务器端返回的数据
2014/02/10 Javascript
jquery的attr方法禁用表单元素禁用输入内容
2014/06/23 Javascript
jQuery拖动元素并对元素进行重新排序
2015/12/30 Javascript
Javascript在IE和Firefox浏览器常见兼容性问题总结
2016/08/03 Javascript
JavaScript中浅讲ajax图文详解
2016/11/11 Javascript
nodejs中sleep功能实现暂停几秒的方法
2017/07/12 NodeJs
JSON对象转化为字符串详解
2017/08/11 Javascript
Angular模板表单校验方法详解
2017/08/11 Javascript
详解js 创建对象的几种方法
2019/03/08 Javascript
JS实现可以用键盘方向键控制的动画
2020/12/11 Javascript
Python 时间操作例子和时间格式化参数小结
2014/04/24 Python
go语言计算两个时间的时间差方法
2015/03/13 Python
用Python解析XML的几种常见方法的介绍
2015/04/09 Python
python中查看变量内存地址的方法
2015/05/05 Python
高效测试用例组织算法pairwise之Python实现方法
2017/07/19 Python
Python使用字典的嵌套功能详解
2019/02/27 Python
python设置随机种子实例讲解
2019/09/12 Python
python ctypes库2_指定参数类型和返回类型详解
2019/11/19 Python
Python: 传递列表副本方式
2019/12/19 Python
TensorFlow 读取CSV数据的实例
2020/02/05 Python
微软英国官方网站:Microsoft英国
2016/10/15 全球购物
波兰灯具、照明和LED购物网站:Lampy.pl
2019/03/11 全球购物
小学生感恩演讲稿
2014/04/25 职场文书
大学生创业计划书
2014/08/14 职场文书
无财产离婚协议书范本
2014/10/28 职场文书
2015年世界环境日活动总结
2015/02/11 职场文书
2015年妇联工作总结范文
2015/04/22 职场文书
女方家长婚礼致辞
2015/07/27 职场文书
宝塔更新Python及Flask项目的部署
2022/04/11 Python