Python3爬虫学习之爬虫利器Beautiful Soup用法分析


Posted in Python onDecember 12, 2018

本文实例讲述了Python3爬虫学习之爬虫利器Beautiful Soup用法。分享给大家供大家参考,具体如下:

爬虫利器Beautiful Soup

前面一篇说到通过urllib.request模块可以将网页当作本地文件来读取,那么获得网页的html代码后,自然就是要将我们所需要的部分从杂乱的html代码中分离出来。既然要做数据的查找和提取,当然我们首先想到的应该是正则表达式的方式,而正则表达式书写的复杂我想大家都有体会,而且Python中的正则表达式和其他语言中的并没有太大区别,也就不赘述了,所以现在介绍Python中一种比较友好且易用的数据提取方式——Beautiful Soup

照例,先上官方文档
还有贴心的中文版

Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.

文档中的例子其实说的已经比较清楚了,那下面就以爬取简书首页文章的标题一段代码来演示一下:

先来看简书首页的源代码:

Python3爬虫学习之爬虫利器Beautiful Soup用法分析

可以发现简书首页文章的标题都是在<a/>标签中,并且class='title',所以,通过

find_all('a', 'title')

便可获得所有的文章标题,具体实现代码及结果如下:

# -*- coding:utf-8 -*-
from urllib import request
from bs4 import BeautifulSoup
url = r'http://www.jianshu.com'
# 模拟真实浏览器进行访问
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
page = request.Request(url, headers=headers)
page_info = request.urlopen(page).read()
page_info = page_info.decode('utf-8')
# 将获取到的内容转换成BeautifulSoup格式,并将html.parser作为解析器
soup = BeautifulSoup(page_info, 'html.parser') 
# 以格式化的形式打印html
# print(soup.prettify())
titles = soup.find_all('a', 'title') # 查找所有a标签中class='title'的语句
# 打印查找到的每一个a标签的string
for title in titles:
 print(title.string)

Python3爬虫学习之爬虫利器Beautiful Soup用法分析

PS:关于解析器

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,下表列出了主要的解析器,以及它们的优缺点:

解析器 使用方法 优势 劣势
Python标准库 BeautifulSoup(markup, "html.parser") (1)Python的内置标准库 (2)执行速度适中 (3)文档容错能力强 Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差
lxml HTML 解析器 BeautifulSoup(markup, "lxml") (1)速度快 (2)文档容错能力强 需要安装C语言库
lxml XML 解析器 BeautifulSoup(markup, ["lxml", "xml"]) OR BeautifulSoup(markup, "xml") (1)速度快 (2)唯一支持XML的解析器 需要安装C语言库
html5lib BeautifulSoup(markup, "html5lib") (1)最好的容错性 (2)以浏览器的方式解析文档 (3)生成HTML5格式的文档 (1)速度慢 (2)不依赖外部扩展

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
在Python3中初学者应会的一些基本的提升效率的小技巧
Mar 31 Python
Python回调函数用法实例详解
Jul 02 Python
python实现识别手写数字 python图像识别算法
Mar 23 Python
flask中过滤器的使用详解
Aug 01 Python
Python批量生成特定尺寸图片及图画任意文字的实例
Jan 30 Python
Python面向对象实现一个对象调用另一个对象操作示例
Apr 08 Python
django搭建项目配置环境和创建表过程详解
Jul 22 Python
Python3分析处理声音数据的例子
Aug 27 Python
django中的图片验证码功能
Sep 18 Python
Python多线程爬取豆瓣影评API接口
Oct 22 Python
Python中zip()函数的解释和可视化(实例详解)
Feb 16 Python
python使用turtle库绘制奥运五环
Feb 24 Python
Python解决线性代数问题之矩阵的初等变换方法
Dec 12 #Python
对python数据切割归并算法的实例讲解
Dec 12 #Python
python实现文本界面网络聊天室
Dec 12 #Python
Python3爬虫学习之应对网站反爬虫机制的方法分析
Dec 12 #Python
python实现简单多人聊天室
Dec 11 #Python
在python中利用KNN实现对iris进行分类的方法
Dec 11 #Python
python 划分数据集为训练集和测试集的方法
Dec 11 #Python
You might like
PHP调用三种数据库的方法(1)
2006/10/09 PHP
程序员编程十条戒律
2009/07/09 PHP
关于zend studio 出现乱码问题的总结
2013/06/23 PHP
php版小黄鸡simsimi聊天机器人接口分享
2014/01/26 PHP
php微信支付接口开发程序
2016/08/02 PHP
php-fpm中max_children的配置
2019/03/15 PHP
IE与FireFox中的childNodes区别
2011/10/20 Javascript
jquery 根据name名获取元素的value值
2015/02/27 Javascript
js闭包用法实例详解
2016/12/13 Javascript
详解vue父子组件间传值(props)
2017/06/29 Javascript
[js高手之路]原型式继承与寄生式继承详解
2017/08/28 Javascript
Node.js 使用递归实现遍历文件夹中所有文件
2017/09/18 Javascript
JS引用传递与值传递的区别与用法分析
2018/06/01 Javascript
angular ng-model 无法获取值的处理方法
2018/10/02 Javascript
如何优雅地取消 JavaScript 异步任务
2020/03/22 Javascript
python实现颜色空间转换程序(Tkinter)
2015/12/31 Python
python模块之re正则表达式详解
2017/02/03 Python
Django中Model的使用方法教程
2018/03/07 Python
python实现画五角星和螺旋线的示例
2019/01/20 Python
pytorch 模型可视化的例子
2019/08/17 Python
Python ini文件常用操作方法解析
2020/04/26 Python
Python使用socketServer包搭建简易服务器过程详解
2020/06/12 Python
Django基于Models定制Admin后台实现过程解析
2020/11/11 Python
Html5 video标签视频的最佳实践
2020/02/26 HTML / CSS
网络事业创业计划书范文
2014/01/09 职场文书
人力资源总监工作说明
2014/03/03 职场文书
医药营销个人求职信
2014/04/12 职场文书
国际金融专业自荐信
2014/07/05 职场文书
小学国旗下的演讲稿
2014/08/28 职场文书
第28个世界无烟日活动总结
2015/02/10 职场文书
法院个人总结
2015/03/03 职场文书
社区党员干部承诺书
2015/05/04 职场文书
初中班主任工作总结2015
2015/05/13 职场文书
《红领巾真好》教学反思
2016/02/16 职场文书
SqlServer 垂直分表(减少程序改动)
2021/04/16 SQL Server
Python内置包对JSON文件数据进行编码和解码
2022/04/12 Python