Python HTML解析模块HTMLParser用法分析【爬虫工具】


Posted in Python onApril 05, 2019

本文实例讲述了Python HTML解析模块HTMLParser用法。分享给大家供大家参考,具体如下:

简介

先简略介绍一下。实际上,HTMLParser是python用来解析HTML的内置模块。它可以分析出HTML里面的标签、数据等等,是一种处理HTML的简便途径。HTMLParser采用的是一种事件驱动的模式,当HTMLParser找到一个特定的标记时,它会去调用一个用户定义的函数,以此来通知程序处理。它主要的用户回调函数的命名都是以"handle_"开头的,都是HTMLParser的成员函数。当我们使用时,就从HTMLParser派生出新的类,然后重新定义这几个以"handle_"开头的函数即可。这几个函数包括:

(1)handle_startendtag 

处理开始标签和结束标签(即单标签)
(2)handle_starttag    

   处理开始标签,比如<xx>
(3)handle_endtag      

  处理结束标签,比如</xx>
(4)handle_charref     

   处理特殊字符串,就是以&#开头的,一般是内码表示的字符
(5)handle_entityref  

   处理一些特殊字符,以&开头的,比如  
(6)handle_data        

   处理数据,就是<xx>data</xx>中间的那些数据
(7)handle_comment          处理注释
(8)handle_decl        

    处理<!开头的,比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
(9)handle_pi          

      处理形如<?instruction>的东西

实例

OK,废话少说,直接上手,来一个简单的爬虫实例——抓取贴吧图片。

from html.parser import HTMLParser
from urllib import request
class MyHTMLParser(HTMLParser):   # 创建HTML解析类
  def __init__(self):
    HTMLParser.__init__(self)
    self.gifs_urls = []     # 创建列表,保存gif
    self.jpgs_urls = []     # 创建列表,保存jpg
  # 重写HTMLParser中的内置方法
  def handle_starttag(self, tags, attrs): # 处理起始标记
    if tags == 'img':  # 处理图片
      for attr in attrs:
        for t in attr:
          if 'gif' in t and 'https' in t:
            self.gifs_urls.append(t)  # 添加到gif列表
          elif 'jpg' in t and 'https' in t:
            self.jpgs_urls.append(t)  # 添加到jpg列表
          else:
            pass
  # 自定义的方法
  def get_gifs(self):   # 返回gif列表
    return self.gifs_urls
  def get_jpgs(self):   # 返回jpg列表
    return self.jpgs_urls
  # 自定义的方法,获取页面
  def getHTML(self,url):
    req=request.Request(url,method='GET')
    html=request.urlopen(req,timeout=30)
    return html.read()
  # 自定义的方法,批量下载图片
  def downImgs(self,img_urls,n=10,path='Image/'):
    count=1
    for url in img_urls:
      request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg'))
      count=count+1
      if count == n + 1:
        print('共下载%d张图片' %(n))
        return
if __name__ == '__main__':
  Url = 'http://tieba.baidu.com/p/2256306796'
  HtmlParser=MyHTMLParser()
  Html=HtmlParser.getHTML(Url)
  # print(Html)
  HtmlParser.feed(str(Html))   #开始解析HTML,自动调用HTMLParser中的内置方法
  HtmlParser.downImgs(HtmlParser.get_jpgs())

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
用Python编程实现语音控制电脑
Apr 01 Python
python获取目录下所有文件的方法
Jun 01 Python
Django学习笔记之Class-Based-View
Feb 15 Python
Python排序搜索基本算法之选择排序实例分析
Dec 09 Python
Django框架教程之正则表达式URL误区详解
Jan 28 Python
对Python3中的print函数以及与python2的对比分析
May 02 Python
python接口自动化测试之接口数据依赖的实现方法
Apr 26 Python
连接pandas以及数组转pandas的方法
Jun 28 Python
Tensorflow tf.nn.depthwise_conv2d如何实现深度卷积的
Apr 20 Python
Python tkinter界面实现历史天气查询的示例代码
Aug 23 Python
Python+Selenium实现自动化的环境搭建的步骤(图文)
Sep 01 Python
Python中for后接else的语法使用
May 18 Python
Python爬虫实现爬取百度百科词条功能实例
Apr 05 #Python
Python3.5多进程原理与用法实例分析
Apr 05 #Python
Python选择网卡发包及接收数据包
Apr 04 #Python
详解Python的数据库操作(pymysql)
Apr 04 #Python
python dlib人脸识别代码实例
Apr 04 #Python
python图像处理入门(一)
Apr 04 #Python
python爬虫简单的添加代理进行访问的实现代码
Apr 04 #Python
You might like
谈谈PHP语法(5)
2006/10/09 PHP
PHP 开源框架22个简单简介
2009/08/24 PHP
DOM XPATH获取img src值的query
2013/09/23 PHP
destoon利用Rewrite规则设置网站安全
2014/06/21 PHP
php中__destruct与register_shutdown_function执行的先后顺序问题
2014/10/17 PHP
正确的PHP匹配UTF-8中文的正则表达式
2015/05/13 PHP
php实现的统计字数函数定义与使用示例
2017/07/26 PHP
php二维码生成以及下载实现
2017/09/28 PHP
Yii框架的redis命令使用方法简单示例
2019/10/15 PHP
laravel框架之数据库查出来的对象实现转化为数组
2019/10/23 PHP
php-7.3.6 编译安装过程
2020/02/11 PHP
Dreamweaver jQuery智能提示插件,支持版本提示,支持1.6api
2011/07/31 Javascript
js的回调函数详解
2015/01/05 Javascript
jQuery操作表单常用控件方法小结
2015/03/23 Javascript
js实现带圆角的两级导航菜单效果代码
2015/08/24 Javascript
创建一般js对象的几种方式
2017/01/19 Javascript
老生常谈js中0到底是 true 还是 false
2017/03/08 Javascript
javaScript实现滚动条事件详解
2020/03/24 Javascript
JS实现自定义状态栏动画文字效果示例
2017/10/12 Javascript
vue 循环加载数据并获取第一条记录的方法
2018/09/26 Javascript
对angularJs中自定义指令replace的属性详解
2018/10/09 Javascript
深入理解JavaScript 中的执行上下文和执行栈
2018/10/23 Javascript
[04:44]显微镜下的DOTA2第二期——你所没有注意到的细节
2014/06/20 DOTA
[22:20]初生之犊-TI4第5名LGD战队纪录片
2014/08/13 DOTA
Python 面试中 8 个必考问题
2018/11/16 Python
python把ipynb文件转换成pdf文件过程详解
2019/07/09 Python
pandas中DataFrame修改index、columns名的方法示例
2019/08/02 Python
python用类实现文章敏感词的过滤方法示例
2019/10/27 Python
Python插入Elasticsearch操作方法解析
2020/01/19 Python
keras打印loss对权重的导数方式
2020/06/10 Python
美国家具网站:Cymax
2016/09/17 全球购物
Java如何格式化日期
2012/08/07 面试题
在对linux系统分区进行格式化时需要对磁盘簇(或i节点密度)的大小进行选择,请说明选择的原则
2012/01/13 面试题
遗嘱公证书标准样本
2014/04/08 职场文书
好学生评语大全
2014/05/05 职场文书
优秀三好学生事迹材料
2014/08/31 职场文书