Python HTML解析模块HTMLParser用法分析【爬虫工具】


Posted in Python onApril 05, 2019

本文实例讲述了Python HTML解析模块HTMLParser用法。分享给大家供大家参考,具体如下:

简介

先简略介绍一下。实际上,HTMLParser是python用来解析HTML的内置模块。它可以分析出HTML里面的标签、数据等等,是一种处理HTML的简便途径。HTMLParser采用的是一种事件驱动的模式,当HTMLParser找到一个特定的标记时,它会去调用一个用户定义的函数,以此来通知程序处理。它主要的用户回调函数的命名都是以"handle_"开头的,都是HTMLParser的成员函数。当我们使用时,就从HTMLParser派生出新的类,然后重新定义这几个以"handle_"开头的函数即可。这几个函数包括:

(1)handle_startendtag 

处理开始标签和结束标签(即单标签)
(2)handle_starttag    

   处理开始标签,比如<xx>
(3)handle_endtag      

  处理结束标签,比如</xx>
(4)handle_charref     

   处理特殊字符串,就是以&#开头的,一般是内码表示的字符
(5)handle_entityref  

   处理一些特殊字符,以&开头的,比如  
(6)handle_data        

   处理数据,就是<xx>data</xx>中间的那些数据
(7)handle_comment          处理注释
(8)handle_decl        

    处理<!开头的,比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
(9)handle_pi          

      处理形如<?instruction>的东西

实例

OK,废话少说,直接上手,来一个简单的爬虫实例——抓取贴吧图片。

from html.parser import HTMLParser
from urllib import request
class MyHTMLParser(HTMLParser):   # 创建HTML解析类
  def __init__(self):
    HTMLParser.__init__(self)
    self.gifs_urls = []     # 创建列表,保存gif
    self.jpgs_urls = []     # 创建列表,保存jpg
  # 重写HTMLParser中的内置方法
  def handle_starttag(self, tags, attrs): # 处理起始标记
    if tags == 'img':  # 处理图片
      for attr in attrs:
        for t in attr:
          if 'gif' in t and 'https' in t:
            self.gifs_urls.append(t)  # 添加到gif列表
          elif 'jpg' in t and 'https' in t:
            self.jpgs_urls.append(t)  # 添加到jpg列表
          else:
            pass
  # 自定义的方法
  def get_gifs(self):   # 返回gif列表
    return self.gifs_urls
  def get_jpgs(self):   # 返回jpg列表
    return self.jpgs_urls
  # 自定义的方法,获取页面
  def getHTML(self,url):
    req=request.Request(url,method='GET')
    html=request.urlopen(req,timeout=30)
    return html.read()
  # 自定义的方法,批量下载图片
  def downImgs(self,img_urls,n=10,path='Image/'):
    count=1
    for url in img_urls:
      request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg'))
      count=count+1
      if count == n + 1:
        print('共下载%d张图片' %(n))
        return
if __name__ == '__main__':
  Url = 'http://tieba.baidu.com/p/2256306796'
  HtmlParser=MyHTMLParser()
  Html=HtmlParser.getHTML(Url)
  # print(Html)
  HtmlParser.feed(str(Html))   #开始解析HTML,自动调用HTMLParser中的内置方法
  HtmlParser.downImgs(HtmlParser.get_jpgs())

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
用Python制作检测Linux运行信息的工具的教程
Apr 01 Python
详解Python中的文件操作
Aug 28 Python
python常用函数详解
Sep 13 Python
Python实现的科学计算器功能示例
Aug 04 Python
python实现kNN算法
Dec 20 Python
完美解决python中ndarray 默认用科学计数法显示的问题
Jul 14 Python
python3+opencv3识别图片中的物体并截取的方法
Dec 05 Python
pyecharts绘制中国2020肺炎疫情地图的实例代码
Feb 12 Python
python GUI库图形界面开发之PyQt5单行文本框控件QLineEdit详细使用方法与实例
Feb 27 Python
Python的in,is和id函数代码实例
Apr 18 Python
TensorFlow实现模型断点训练,checkpoint模型载入方式
May 26 Python
Python基于network模块制作电影人物关系图
Jun 19 Python
Python爬虫实现爬取百度百科词条功能实例
Apr 05 #Python
Python3.5多进程原理与用法实例分析
Apr 05 #Python
Python选择网卡发包及接收数据包
Apr 04 #Python
详解Python的数据库操作(pymysql)
Apr 04 #Python
python dlib人脸识别代码实例
Apr 04 #Python
python图像处理入门(一)
Apr 04 #Python
python爬虫简单的添加代理进行访问的实现代码
Apr 04 #Python
You might like
ajax+php打造进度条代码[readyState各状态说明]
2010/04/12 PHP
兼容ie6浏览器的php下载文件代码分享
2014/07/14 PHP
php数组保存文本与文本反编成数组实例
2014/11/13 PHP
PHP手机短信验证码实现流程详解
2018/05/17 PHP
Thinkphp整合阿里云OSS图片上传实例代码
2019/04/28 PHP
use jscript Create a SQL Server database
2007/06/16 Javascript
早该知道的7个JavaScript技巧
2013/03/27 Javascript
js正则表达式的使用详解
2013/07/09 Javascript
jquery.qrcode在线生成二维码使用示例
2013/08/21 Javascript
javascript模拟订火车票和退票示例
2014/04/24 Javascript
javascript将浮点数转换成整数的三个方法
2014/06/23 Javascript
使用JavaScript实现连续滚动字幕效果的方法
2015/07/07 Javascript
在vue项目中安装使用Mint-UI的方法
2017/12/27 Javascript
es6中使用map简化复杂条件判断操作实例详解
2020/02/19 Javascript
vue设置全局访问接口API地址操作
2020/08/14 Javascript
Vue绑定用户接口实现代码示例
2020/11/04 Javascript
如何基于viewport vm适配移动端页面
2020/11/13 Javascript
python3使用SMTP发送简单文本邮件
2018/06/19 Python
解决Mac下首次安装pycharm无project interpreter的问题
2018/10/29 Python
对pandas的算术运算和数据对齐实例详解
2018/12/22 Python
python将控制台输出保存至文件的方法
2019/01/07 Python
解决Python找不到ssl模块问题 No module named _ssl的方法
2019/04/29 Python
python获取微信企业号打卡数据并生成windows计划任务
2019/04/30 Python
树莓派用python中的OpenCV输出USB摄像头画面
2019/06/22 Python
Python Django 添加首页尾页上一页下一页代码实例
2019/08/21 Python
Matplotlib中%matplotlib inline如何使用
2020/07/28 Python
Python解析微信dat文件的方法
2020/11/30 Python
pycharm 实现光标快速移动到括号外或行尾的操作
2021/02/05 Python
美国轮胎网站:Priority Tire
2018/11/28 全球购物
巴西儿童时尚购物网站:Dinda
2019/08/14 全球购物
JPA的特点
2014/10/25 面试题
大学生收银员求职信分享
2014/01/02 职场文书
2013年学期结束动员演讲稿
2014/01/07 职场文书
广播体操比赛口号
2014/06/10 职场文书
女方家长婚礼答谢词
2015/09/29 职场文书
避坑之 JavaScript 中的toFixed()和正则表达式
2022/04/19 Javascript