Python3爬虫学习之爬虫利器Beautiful Soup用法分析


Posted in Python onDecember 12, 2018

本文实例讲述了Python3爬虫学习之爬虫利器Beautiful Soup用法。分享给大家供大家参考,具体如下:

爬虫利器Beautiful Soup

前面一篇说到通过urllib.request模块可以将网页当作本地文件来读取,那么获得网页的html代码后,自然就是要将我们所需要的部分从杂乱的html代码中分离出来。既然要做数据的查找和提取,当然我们首先想到的应该是正则表达式的方式,而正则表达式书写的复杂我想大家都有体会,而且Python中的正则表达式和其他语言中的并没有太大区别,也就不赘述了,所以现在介绍Python中一种比较友好且易用的数据提取方式——Beautiful Soup

照例,先上官方文档
还有贴心的中文版

Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.

文档中的例子其实说的已经比较清楚了,那下面就以爬取简书首页文章的标题一段代码来演示一下:

先来看简书首页的源代码:

Python3爬虫学习之爬虫利器Beautiful Soup用法分析

可以发现简书首页文章的标题都是在<a/>标签中,并且class='title',所以,通过

find_all('a', 'title')

便可获得所有的文章标题,具体实现代码及结果如下:

# -*- coding:utf-8 -*-
from urllib import request
from bs4 import BeautifulSoup
url = r'http://www.jianshu.com'
# 模拟真实浏览器进行访问
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
page = request.Request(url, headers=headers)
page_info = request.urlopen(page).read()
page_info = page_info.decode('utf-8')
# 将获取到的内容转换成BeautifulSoup格式,并将html.parser作为解析器
soup = BeautifulSoup(page_info, 'html.parser') 
# 以格式化的形式打印html
# print(soup.prettify())
titles = soup.find_all('a', 'title') # 查找所有a标签中class='title'的语句
# 打印查找到的每一个a标签的string
for title in titles:
 print(title.string)

Python3爬虫学习之爬虫利器Beautiful Soup用法分析

PS:关于解析器

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,下表列出了主要的解析器,以及它们的优缺点:

解析器 使用方法 优势 劣势
Python标准库 BeautifulSoup(markup, "html.parser") (1)Python的内置标准库 (2)执行速度适中 (3)文档容错能力强 Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差
lxml HTML 解析器 BeautifulSoup(markup, "lxml") (1)速度快 (2)文档容错能力强 需要安装C语言库
lxml XML 解析器 BeautifulSoup(markup, ["lxml", "xml"]) OR BeautifulSoup(markup, "xml") (1)速度快 (2)唯一支持XML的解析器 需要安装C语言库
html5lib BeautifulSoup(markup, "html5lib") (1)最好的容错性 (2)以浏览器的方式解析文档 (3)生成HTML5格式的文档 (1)速度慢 (2)不依赖外部扩展

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python中Continue语句的用法的举例详解
May 14 Python
利用Python进行异常值分析实例代码
Dec 07 Python
详解Django之admin组件的使用和源码剖析
May 04 Python
Python设计模式之享元模式原理与用法实例分析
Jan 11 Python
基于Python实现迪杰斯特拉和弗洛伊德算法
May 27 Python
Python元组知识点总结
Feb 18 Python
Django 静态文件配置过程详解
Jul 23 Python
python使用协程实现并发操作的方法详解
Dec 27 Python
读取nii或nii.gz文件中的信息即输出图像操作
Jul 01 Python
matplotlib.pyplot.plot()参数使用详解
Jul 28 Python
Python pickle模块常用方法代码实例
Oct 10 Python
分享PyCharm最新激活码(真永久激活方法)不用每月找安装参数或最新激活码了
Dec 27 Python
Python解决线性代数问题之矩阵的初等变换方法
Dec 12 #Python
对python数据切割归并算法的实例讲解
Dec 12 #Python
python实现文本界面网络聊天室
Dec 12 #Python
Python3爬虫学习之应对网站反爬虫机制的方法分析
Dec 12 #Python
python实现简单多人聊天室
Dec 11 #Python
在python中利用KNN实现对iris进行分类的方法
Dec 11 #Python
python 划分数据集为训练集和测试集的方法
Dec 11 #Python
You might like
php microtime获取浮点的时间戳
2010/02/21 PHP
php基于Snoopy解析网页html的方法
2015/07/09 PHP
基于laravel缓冲cache的用法详解
2019/10/23 PHP
基于jquery的合并table相同单元格的插件(精简版)
2011/04/05 Javascript
ExtJs中gridpanel分组后组名排序实例代码
2013/12/02 Javascript
javascript修改IMG标签的src问题
2014/03/28 Javascript
javascript 原型链维护和继承详解
2014/11/26 Javascript
基于BootStrap Metronic开发框架经验小结【五】Bootstrap File Input文件上传插件的用法详解
2016/05/12 Javascript
Knockoutjs 学习系列(二)花式捆绑
2016/06/07 Javascript
基于JavaScript实现单选框下拉菜单添加文件效果
2016/06/26 Javascript
JS弹出新窗口被拦截的解决方法
2016/08/09 Javascript
懒加载实现的分页&amp;&amp;网站footer自适应
2016/12/21 Javascript
Vue组件tree实现树形菜单
2017/04/13 Javascript
基于vue2的canvas时钟倒计时组件步骤解析
2018/11/05 Javascript
js实现随机div颜色位置 类似满天星效果
2019/10/24 Javascript
nodeJs的安装与npm全局环境变量的配置详解
2020/01/06 NodeJs
[01:18]DOTA2超级联赛专访hanci ForLove淘汰感言曝光
2013/06/04 DOTA
[01:35:13]DOTA2-DPC中国联赛 正赛 DLG vs PHOENIX BO3 第一场 1月18日
2021/03/11 DOTA
Python编写通讯录通过数据库存储实现模糊查询功能
2019/07/18 Python
python使用pandas抽样训练数据中某个类别实例
2020/02/28 Python
用Python 爬取猫眼电影数据分析《无名之辈》
2020/07/24 Python
借助HTML5 Canvas来绘制三角形和矩形等多边形的方法
2016/03/14 HTML / CSS
利用Node实现HTML5离线存储的方法
2020/10/16 HTML / CSS
Lou & Grey美国官网:主打舒适性面料服饰
2017/12/21 全球购物
大学生职业生涯规划书模版
2013/12/30 职场文书
优秀干部获奖感言
2014/01/31 职场文书
硕士生工作推荐信
2014/03/07 职场文书
党支部对照检查材料
2014/08/25 职场文书
2014院党委领导班子对照检查材料思想汇报
2014/09/24 职场文书
幼儿园春季开学通知
2015/07/16 职场文书
2015年秋季运动会前导词
2015/07/20 职场文书
小学主题班会教案
2015/08/17 职场文书
选调生挂职锻炼工作总结
2015/10/23 职场文书
Java实战之用Swing实现通讯录管理系统
2021/06/13 Java/Android
Pandas实现DataFrame的简单运算、统计与排序
2022/03/31 Python
Python matplotlib绘制条形统计图 处理多个实验多组观测值
2022/04/21 Python