python中HTMLParser模块知识点总结


Posted in Python onJanuary 25, 2021

本章内容,我们主要来讲一下Python内置的HTML解析库HTMLParser模块,基本上也是应用于页面抓取上,假设,我们需要去收集页面上已存在的静态链接,但是页面肯定代码量都非常大,并且页面也很多,这样看来,会比较麻烦,工作量也非常大,这个时候,我们就可以用到htmlparser模块,一起来了解具体使用内容。

安装:

npm install htmlparser

htmlparser提供构造函数:

function Parser(handler) {
  this._handler = handler;
}

HTMLParser解析HTML:

from html.parser import HTMLParser
from html.entities import name2codepoint
class MyHTMLParser(HTMLParser):
  def handle_starttag(self, tag, attrs):
    print('<%s>' % tag)
  def handle_endtag(self, tag):
    print('</%s>' % tag)
  def handle_startendtag(self, tag, attrs):
    print('<%s/>' % tag)
  def handle_data(self, data):
    print(data)
  def handle_comment(self, data):
    print('<!--', data, '-->')
  def handle_entityref(self, name):
    print('&%s;' % name)
  def handle_charref(self, name):
    print('&#%s;' % name)
parser = MyHTMLParser()
parser.feed('''<html>
<head></head>
<body>
<!-- test html parser -->
  <p>Some <a href=\"#\">html</a> HTML tutorial...<br>END</p>
</body></html>''')

HTML本质上是XML的子集,但是HTML的语法没有XML那么严格,大家也可以尝试利用HTMLParser解析HTML。

知识点扩展:

常用方法介绍

l feed(data):主要用于接受带html标签的str,当调用这个方法时并提供相应的data时,整个实例(instance)开始执行,结束执行close()。

l handle_starttag(tag, attrs): 这个方法接收Parse_starttag返回的tag和attrs,并进行处理,处理方式通常由使用者进行覆盖,本身为空。

例如,连接的start tag是<a>,那么对应的参数tag='a'(小写)。attrs是start tag <>中的属性,以元组形式(name, value)返回(所有这些内容都是小写)。

例如,对于<A HREF="http://www.baidu.com“>,那么内部调用形式为:handle_starttag('a',[(‘href','http://www.baidu.com)]).

l handle_endtag(tag):跟上述一样,只是处理的是结束标签,也就是以</开头的标签。

l handle_data(data):处理的是网页的数据,也就是开始标签和结束标签之间的内容。例如:<script>...</script>的省略号内容

l handle_comment(data) ,处理注释,<!-- -->之间的文本

l reset():将实例重置,包括作为参数输入的数据进行清空。

到此这篇关于python中HTMLParser模块知识点总结的文章就介绍到这了,更多相关python中HTMLParser模块是什么内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

到此这篇关于python中HTMLParser模块知识点总结的文章就介绍到这了,更多相关python中HTMLParser模块是什么内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python实现360皮肤按钮控件示例
Feb 21 Python
初学Python函数的笔记整理
Apr 07 Python
Python实例一个类背后发生了什么
Feb 09 Python
python简单线程和协程学习心得(分享)
Jun 14 Python
Python下载网络小说实例代码
Feb 03 Python
Python使用Flask-SQLAlchemy连接数据库操作示例
Aug 31 Python
深入解析python中的实例方法、类方法和静态方法
Mar 11 Python
python机器学习库scikit-learn:SVR的基本应用
Jun 26 Python
Python WebSocket长连接心跳与短连接的示例
Nov 24 Python
Python基于opencv的简单图像轮廓形状识别(全网最简单最少代码)
Jan 28 Python
python爬虫scrapy基于CrawlSpider类的全站数据爬取示例解析
Feb 20 Python
浅谈Python从全局与局部变量到装饰器的相关知识
Jun 21 Python
pycharm配置QtDesigner的超详细方法
Jan 25 #Python
Python扫描端口的实现
Jan 25 #Python
Python 将代码转换为可执行文件脱离python环境运行(步骤详解)
Jan 25 #Python
Python实现京东抢秒杀功能
Jan 25 #Python
Python Process创建进程的2种方法详解
Jan 25 #Python
使用python对excel表格处理的一些小功能
Jan 25 #Python
全网最详细的PyCharm+Anaconda的安装过程图解
Jan 25 #Python
You might like
用PHP调用Oracle存储过程
2006/10/09 PHP
通过php快速统计某个数据库中每张表的数据量
2012/09/04 PHP
php中文乱码怎么办如何让浏览器自动识别utf-8
2014/01/15 PHP
php生成缩略图示例代码分享(使用gd库实现)
2014/01/20 PHP
twig里使用js变量的方法
2016/02/05 PHP
PHP PDOStatement::bindValue讲解
2019/01/30 PHP
javascript nextSibling 与 getNextElement(node) 使用介绍
2011/10/13 Javascript
JS实现在线统计一个页面内鼠标点击次数的方法
2015/02/28 Javascript
jQuery检测输入的字符串包含的中英文的数量
2015/04/17 Javascript
JS实现可编辑的后台管理菜单功能【附demo源码下载】
2016/09/13 Javascript
Vue.js实现简单动态数据处理
2017/02/13 Javascript
微信JS-SDK选取手机照片上传功能
2017/04/21 Javascript
Node.js学习教程之HTTP/2服务器推送【译】
2017/10/31 Javascript
js实现以最简单的方式将数组元素添加到对象中的方法
2017/12/20 Javascript
jQuery 实现左右两侧菜单添加、移除功能
2018/01/02 jQuery
element ui里dialog关闭后清除验证条件方法
2018/02/26 Javascript
js中split()方法得到的数组长度问题
2018/07/19 Javascript
用vscode开发vue应用的方法步骤
2019/05/06 Javascript
Node中对非阻塞I/O、事件循环的知识点总结
2020/01/05 Javascript
Node.js 在本地生成日志文件的方法
2020/02/07 Javascript
[02:17]《辉夜杯》TRG战队巡礼
2015/10/26 DOTA
wxpython中利用线程防止假死的实现方法
2014/08/11 Python
浅述python中argsort()函数的实例用法
2017/03/30 Python
Python3导入CSV文件的实例(跟Python2有些许的不同)
2018/06/22 Python
pycharm开发一个简单界面和通用mvc模板(操作方法图解)
2020/05/27 Python
html5 canvas-2.用canvas制作一个猜字母的小游戏
2013/01/07 HTML / CSS
canvas 下载二维码和图片加水印的方法
2018/03/21 HTML / CSS
ALDO加拿大官网:加拿大女鞋品牌
2018/12/22 全球购物
授权委托书格式范文
2014/08/02 职场文书
房产授权委托书范本
2014/09/22 职场文书
公司合并协议书范本
2014/09/30 职场文书
大学生助学金感谢信
2015/01/21 职场文书
团代会闭幕词
2015/01/28 职场文书
客服专员岗位职责
2015/02/10 职场文书
办公室主任个人总结
2015/02/28 职场文书
导游词书写之黄山
2019/08/06 职场文书