Python HTML解析模块HTMLParser用法分析【爬虫工具】


Posted in Python onApril 05, 2019

本文实例讲述了Python HTML解析模块HTMLParser用法。分享给大家供大家参考,具体如下:

简介

先简略介绍一下。实际上,HTMLParser是python用来解析HTML的内置模块。它可以分析出HTML里面的标签、数据等等,是一种处理HTML的简便途径。HTMLParser采用的是一种事件驱动的模式,当HTMLParser找到一个特定的标记时,它会去调用一个用户定义的函数,以此来通知程序处理。它主要的用户回调函数的命名都是以"handle_"开头的,都是HTMLParser的成员函数。当我们使用时,就从HTMLParser派生出新的类,然后重新定义这几个以"handle_"开头的函数即可。这几个函数包括:

(1)handle_startendtag 

处理开始标签和结束标签(即单标签)
(2)handle_starttag    

   处理开始标签,比如<xx>
(3)handle_endtag      

  处理结束标签,比如</xx>
(4)handle_charref     

   处理特殊字符串,就是以&#开头的,一般是内码表示的字符
(5)handle_entityref  

   处理一些特殊字符,以&开头的,比如  
(6)handle_data        

   处理数据,就是<xx>data</xx>中间的那些数据
(7)handle_comment          处理注释
(8)handle_decl        

    处理<!开头的,比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
(9)handle_pi          

      处理形如<?instruction>的东西

实例

OK,废话少说,直接上手,来一个简单的爬虫实例——抓取贴吧图片。

from html.parser import HTMLParser
from urllib import request
class MyHTMLParser(HTMLParser):   # 创建HTML解析类
  def __init__(self):
    HTMLParser.__init__(self)
    self.gifs_urls = []     # 创建列表,保存gif
    self.jpgs_urls = []     # 创建列表,保存jpg
  # 重写HTMLParser中的内置方法
  def handle_starttag(self, tags, attrs): # 处理起始标记
    if tags == 'img':  # 处理图片
      for attr in attrs:
        for t in attr:
          if 'gif' in t and 'https' in t:
            self.gifs_urls.append(t)  # 添加到gif列表
          elif 'jpg' in t and 'https' in t:
            self.jpgs_urls.append(t)  # 添加到jpg列表
          else:
            pass
  # 自定义的方法
  def get_gifs(self):   # 返回gif列表
    return self.gifs_urls
  def get_jpgs(self):   # 返回jpg列表
    return self.jpgs_urls
  # 自定义的方法,获取页面
  def getHTML(self,url):
    req=request.Request(url,method='GET')
    html=request.urlopen(req,timeout=30)
    return html.read()
  # 自定义的方法,批量下载图片
  def downImgs(self,img_urls,n=10,path='Image/'):
    count=1
    for url in img_urls:
      request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg'))
      count=count+1
      if count == n + 1:
        print('共下载%d张图片' %(n))
        return
if __name__ == '__main__':
  Url = 'http://tieba.baidu.com/p/2256306796'
  HtmlParser=MyHTMLParser()
  Html=HtmlParser.getHTML(Url)
  # print(Html)
  HtmlParser.feed(str(Html))   #开始解析HTML,自动调用HTMLParser中的内置方法
  HtmlParser.downImgs(HtmlParser.get_jpgs())

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
压缩包密码破解示例分享(类似典破解)
Jan 17 Python
python多重继承实例
Oct 11 Python
Python中比较特别的除法运算和幂运算介绍
Apr 05 Python
通过mod_python配置运行在Apache上的Django框架
Jul 22 Python
Python通过future处理并发问题
Oct 17 Python
python ddt实现数据驱动
Mar 14 Python
[原创]Python入门教程1. 基本运算【四则运算、变量、math模块等】
Oct 28 Python
Python实现串口通信(pyserial)过程解析
Sep 25 Python
pytorch方法测试详解——归一化(BatchNorm2d)
Jan 15 Python
django实现模型字段动态choice的操作
Apr 01 Python
Python字典fromkeys()方法使用代码实例
Jul 20 Python
python根据用户需求输入想爬取的内容及页数爬取图片方法详解
Aug 03 Python
Python爬虫实现爬取百度百科词条功能实例
Apr 05 #Python
Python3.5多进程原理与用法实例分析
Apr 05 #Python
Python选择网卡发包及接收数据包
Apr 04 #Python
详解Python的数据库操作(pymysql)
Apr 04 #Python
python dlib人脸识别代码实例
Apr 04 #Python
python图像处理入门(一)
Apr 04 #Python
python爬虫简单的添加代理进行访问的实现代码
Apr 04 #Python
You might like
通过ODBC连接的SQL SERVER实例
2006/10/09 PHP
PHP压缩html网页代码(清除空格,换行符,制表符,注释标记)
2012/04/02 PHP
探讨php中防止SQL注入最好的方法是什么
2013/06/10 PHP
php定界符
2014/06/19 PHP
PIGCMS 如何关闭聊天机器人
2015/02/12 PHP
PHP正则获取页面所有图片地址
2016/03/23 PHP
Yii框架表单提交验证功能分析
2017/01/07 PHP
PHP 中TP5 Request 请求对象的实例详解
2017/07/31 PHP
php爬取天猫和淘宝商品数据
2018/02/23 PHP
PHP实现微信红包金额拆分试玩的算法示例
2018/04/07 PHP
php常用字符串长度函数strlen()与mb_strlen()用法实例分析
2019/06/25 PHP
PHP程序员简单的开展服务治理架构操作详解(二)
2020/05/14 PHP
javascript 在网页中的运用(asp.net)
2009/11/23 Javascript
关于jquery中全局函数each使用介绍
2013/12/10 Javascript
浅谈jQuery页面的滚动位置scrollTop、scrollLeft
2015/05/19 Javascript
需灵活掌握的Bootstrap预定义排版类 你精通吗?
2016/06/20 Javascript
利用Node.js+Koa框架实现前后端交互的方法
2017/02/27 Javascript
基于js中的原型(全面讲解)
2017/09/19 Javascript
jQuery选择器之基本选择器用法实例分析
2019/02/19 jQuery
JS实现判断数组是否包含某个元素示例
2019/05/24 Javascript
jquery实现图片放大镜效果
2020/12/23 jQuery
对于Python的Django框架使用的一些实用建议
2015/04/03 Python
Python中在for循环中嵌套使用if和else语句的技巧
2016/06/20 Python
python 中值滤波,椒盐去噪,图片增强实例
2019/12/18 Python
Python ORM编程基础示例
2020/02/02 Python
浅谈django channels 路由误导
2020/05/28 Python
解决Keras中循环使用K.ctc_decode内存不释放的问题
2020/06/29 Python
HTML5新增的Css选择器、伪类介绍
2013/08/07 HTML / CSS
HTML5 3D衣服摇摆动画特效
2016/03/17 HTML / CSS
美国婚戒购物网站:Anjays Designs
2017/06/28 全球购物
客服文员岗位职责
2013/11/29 职场文书
《威尼斯的小艇》教学反思
2014/02/17 职场文书
请假条范文大全
2014/04/10 职场文书
工作收入证明模板
2014/10/10 职场文书
酒店财务部岗位职责
2015/04/14 职场文书
MySQL8.0 Undo Tablespace管理详解
2022/06/16 MySQL