Python3爬虫学习之爬虫利器Beautiful Soup用法分析


Posted in Python onDecember 12, 2018

本文实例讲述了Python3爬虫学习之爬虫利器Beautiful Soup用法。分享给大家供大家参考,具体如下:

爬虫利器Beautiful Soup

前面一篇说到通过urllib.request模块可以将网页当作本地文件来读取,那么获得网页的html代码后,自然就是要将我们所需要的部分从杂乱的html代码中分离出来。既然要做数据的查找和提取,当然我们首先想到的应该是正则表达式的方式,而正则表达式书写的复杂我想大家都有体会,而且Python中的正则表达式和其他语言中的并没有太大区别,也就不赘述了,所以现在介绍Python中一种比较友好且易用的数据提取方式——Beautiful Soup

照例,先上官方文档
还有贴心的中文版

Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.

文档中的例子其实说的已经比较清楚了,那下面就以爬取简书首页文章的标题一段代码来演示一下:

先来看简书首页的源代码:

Python3爬虫学习之爬虫利器Beautiful Soup用法分析

可以发现简书首页文章的标题都是在<a/>标签中,并且class='title',所以,通过

find_all('a', 'title')

便可获得所有的文章标题,具体实现代码及结果如下:

# -*- coding:utf-8 -*-
from urllib import request
from bs4 import BeautifulSoup
url = r'http://www.jianshu.com'
# 模拟真实浏览器进行访问
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
page = request.Request(url, headers=headers)
page_info = request.urlopen(page).read()
page_info = page_info.decode('utf-8')
# 将获取到的内容转换成BeautifulSoup格式,并将html.parser作为解析器
soup = BeautifulSoup(page_info, 'html.parser') 
# 以格式化的形式打印html
# print(soup.prettify())
titles = soup.find_all('a', 'title') # 查找所有a标签中class='title'的语句
# 打印查找到的每一个a标签的string
for title in titles:
 print(title.string)

Python3爬虫学习之爬虫利器Beautiful Soup用法分析

PS:关于解析器

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,下表列出了主要的解析器,以及它们的优缺点:

解析器 使用方法 优势 劣势
Python标准库 BeautifulSoup(markup, "html.parser") (1)Python的内置标准库 (2)执行速度适中 (3)文档容错能力强 Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差
lxml HTML 解析器 BeautifulSoup(markup, "lxml") (1)速度快 (2)文档容错能力强 需要安装C语言库
lxml XML 解析器 BeautifulSoup(markup, ["lxml", "xml"]) OR BeautifulSoup(markup, "xml") (1)速度快 (2)唯一支持XML的解析器 需要安装C语言库
html5lib BeautifulSoup(markup, "html5lib") (1)最好的容错性 (2)以浏览器的方式解析文档 (3)生成HTML5格式的文档 (1)速度慢 (2)不依赖外部扩展

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python赋值操作方法分享
Mar 23 Python
Python中的生成器和yield详细介绍
Jan 09 Python
python使用分治法实现求解最大值的方法
May 12 Python
Python cookbook(数据结构与算法)将名称映射到序列元素中的方法
Mar 22 Python
python使用pymongo操作mongo的完整步骤
Apr 13 Python
python操作小程序云数据库实现简单的增删改查功能
Jun 06 Python
python之pexpect实现自动交互的例子
Jul 25 Python
tensorboard显示空白的解决
Feb 15 Python
Python实现Wordcloud生成词云图的示例
Mar 30 Python
python 追踪except信息方式
Apr 25 Python
使用keras框架cnn+ctc_loss识别不定长字符图片操作
Jun 29 Python
python的setattr函数实例用法
Dec 16 Python
Python解决线性代数问题之矩阵的初等变换方法
Dec 12 #Python
对python数据切割归并算法的实例讲解
Dec 12 #Python
python实现文本界面网络聊天室
Dec 12 #Python
Python3爬虫学习之应对网站反爬虫机制的方法分析
Dec 12 #Python
python实现简单多人聊天室
Dec 11 #Python
在python中利用KNN实现对iris进行分类的方法
Dec 11 #Python
python 划分数据集为训练集和测试集的方法
Dec 11 #Python
You might like
PHP 处理图片的类实现代码
2009/10/23 PHP
解析WordPress中函数钩子hook的作用及基本用法
2015/12/22 PHP
TP(thinkPHP)框架多层控制器和多级控制器的使用示例
2018/06/13 PHP
Jquery中删除元素的实现代码
2011/12/29 Javascript
javaScript 删除字符串空格多种方法小结
2012/10/24 Javascript
nodejs中实现路由功能
2014/12/29 NodeJs
JavaScript实现的类字典插入或更新方法实例
2015/07/10 Javascript
JavaScript实现Base64编码转换
2016/04/23 Javascript
node.js cookie-parser之parser.js
2016/06/06 Javascript
浅析JavaScript动画模拟拖拽原理
2016/12/09 Javascript
在bootstrap中实现轮播图实例代码
2017/06/11 Javascript
javascript checkbox/radio onchange不能兼容ie8处理办法
2017/06/13 Javascript
详解Vuex中mapState的具体用法
2017/09/28 Javascript
[原创]jQuery实现合并/追加数组并去除重复项的方法
2018/04/11 jQuery
JavaScript 中的 this 工作原理
2018/06/20 Javascript
浅谈Vue 性能优化之深挖数组
2018/12/11 Javascript
JS document内容及样式操作完整示例
2020/01/14 Javascript
antd 表格列宽自适应方法以及错误处理操作
2020/10/27 Javascript
vant 解决tab切换插件标题样式自定义的问题
2020/11/13 Javascript
python之yield表达式学习
2014/09/02 Python
使用Python的Django框架实现事务交易管理的教程
2015/04/20 Python
python中强大的format函数实例详解
2018/12/05 Python
基于多进程中APScheduler重复运行的解决方法
2019/07/22 Python
Django 项目重命名的实现步骤解析
2019/08/14 Python
关于Python3 类方法、静态方法新解
2019/08/30 Python
利用pytorch实现对CIFAR-10数据集的分类
2020/01/14 Python
3分钟演讲稿
2014/04/30 职场文书
校园文明标语
2014/06/13 职场文书
放飞梦想演讲稿600字
2014/08/26 职场文书
房产销售员2015年终工作总结
2015/10/22 职场文书
运动会班级口号霸气押韵
2015/12/24 职场文书
Python Numpy之linspace用法说明
2021/04/17 Python
Python opencv缺陷检测的实现及问题解决
2021/04/24 Python
pytorch finetuning 自己的图片进行训练操作
2021/06/05 Python
Nebula Graph解决风控业务实践
2022/03/31 MySQL
使用opencv-python如何打开USB或者笔记本前置摄像头
2022/06/21 Python