Python3爬虫学习之爬虫利器Beautiful Soup用法分析


Posted in Python onDecember 12, 2018

本文实例讲述了Python3爬虫学习之爬虫利器Beautiful Soup用法。分享给大家供大家参考,具体如下:

爬虫利器Beautiful Soup

前面一篇说到通过urllib.request模块可以将网页当作本地文件来读取,那么获得网页的html代码后,自然就是要将我们所需要的部分从杂乱的html代码中分离出来。既然要做数据的查找和提取,当然我们首先想到的应该是正则表达式的方式,而正则表达式书写的复杂我想大家都有体会,而且Python中的正则表达式和其他语言中的并没有太大区别,也就不赘述了,所以现在介绍Python中一种比较友好且易用的数据提取方式——Beautiful Soup

照例,先上官方文档
还有贴心的中文版

Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.

文档中的例子其实说的已经比较清楚了,那下面就以爬取简书首页文章的标题一段代码来演示一下:

先来看简书首页的源代码:

Python3爬虫学习之爬虫利器Beautiful Soup用法分析

可以发现简书首页文章的标题都是在<a/>标签中,并且class='title',所以,通过

find_all('a', 'title')

便可获得所有的文章标题,具体实现代码及结果如下:

# -*- coding:utf-8 -*-
from urllib import request
from bs4 import BeautifulSoup
url = r'http://www.jianshu.com'
# 模拟真实浏览器进行访问
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
page = request.Request(url, headers=headers)
page_info = request.urlopen(page).read()
page_info = page_info.decode('utf-8')
# 将获取到的内容转换成BeautifulSoup格式,并将html.parser作为解析器
soup = BeautifulSoup(page_info, 'html.parser') 
# 以格式化的形式打印html
# print(soup.prettify())
titles = soup.find_all('a', 'title') # 查找所有a标签中class='title'的语句
# 打印查找到的每一个a标签的string
for title in titles:
 print(title.string)

Python3爬虫学习之爬虫利器Beautiful Soup用法分析

PS:关于解析器

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,下表列出了主要的解析器,以及它们的优缺点:

解析器 使用方法 优势 劣势
Python标准库 BeautifulSoup(markup, "html.parser") (1)Python的内置标准库 (2)执行速度适中 (3)文档容错能力强 Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差
lxml HTML 解析器 BeautifulSoup(markup, "lxml") (1)速度快 (2)文档容错能力强 需要安装C语言库
lxml XML 解析器 BeautifulSoup(markup, ["lxml", "xml"]) OR BeautifulSoup(markup, "xml") (1)速度快 (2)唯一支持XML的解析器 需要安装C语言库
html5lib BeautifulSoup(markup, "html5lib") (1)最好的容错性 (2)以浏览器的方式解析文档 (3)生成HTML5格式的文档 (1)速度慢 (2)不依赖外部扩展

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
简要讲解Python编程中线程的创建与锁的使用
Feb 28 Python
Linux下通过python访问MySQL、Oracle、SQL Server数据库的方法
Apr 23 Python
python数据抓取分析的示例代码(python + mongodb)
Dec 25 Python
浅析python打包工具distutils、setuptools
Apr 20 Python
Python 类的特殊成员解析
Jun 20 Python
pyqt5与matplotlib的完美结合实例
Jun 21 Python
python文件处理fileinput使用方法详解
Jan 02 Python
Python list运算操作代码实例解析
Jan 20 Python
python输出pdf文档的实例
Feb 13 Python
Python调用REST API接口的几种方式汇总
Oct 19 Python
Python函数中的不定长参数相关知识总结
Jun 24 Python
python实现层次聚类的方法
Nov 01 Python
Python解决线性代数问题之矩阵的初等变换方法
Dec 12 #Python
对python数据切割归并算法的实例讲解
Dec 12 #Python
python实现文本界面网络聊天室
Dec 12 #Python
Python3爬虫学习之应对网站反爬虫机制的方法分析
Dec 12 #Python
python实现简单多人聊天室
Dec 11 #Python
在python中利用KNN实现对iris进行分类的方法
Dec 11 #Python
python 划分数据集为训练集和测试集的方法
Dec 11 #Python
You might like
WINXP下apache+php4+mysql
2006/11/25 PHP
php下拉选项的批量操作的实现代码
2013/10/14 PHP
Codeigniter中mkdir创建目录遇到权限问题和解决方法
2014/07/25 PHP
php中使用sftp教程
2015/03/30 PHP
php 输入输出流详解及示例代码
2016/08/25 PHP
php ZipArchive实现多文件打包下载实例
2019/10/31 PHP
JS setCapture 区域外事件捕捉
2010/03/18 Javascript
JavaScript定义类的几种方式总结
2014/01/06 Javascript
jQuery实现当前页面标签高亮显示的方法
2015/03/10 Javascript
JavaScript简单遍历DOM对象所有属性的实现方法
2015/10/21 Javascript
Bootstrap表单Form全面解析
2016/06/13 Javascript
Angular设置title信息解决SEO方面存在问题
2016/08/19 Javascript
babel基本使用详解
2017/02/17 Javascript
jQuery Tree Multiselect使用详解
2017/05/02 jQuery
Node.js使用Angular简单示例
2018/05/11 Javascript
vue-cli中vue本地实现跨域调试接口
2019/01/16 Javascript
layui的表单提交以及验证和修改弹框的实例
2019/09/09 Javascript
layer页面跳转,获取html子节点元素的值方法
2019/09/27 Javascript
基于vue实现图片验证码倒计时60s功能
2019/12/10 Javascript
Node.js API详解之 dgram模块用法实例分析
2020/06/05 Javascript
利用 Chrome Dev Tools 进行页面性能分析的步骤说明(前端性能优化)
2021/02/24 Javascript
[05:03]2018DOTA2亚洲邀请赛主赛事首日回顾
2018/04/04 DOTA
python实现多线程的两种方式
2016/05/22 Python
Python 基础教程之str和repr的详解
2017/08/20 Python
使用Eclipse如何开发python脚本
2018/04/11 Python
Python读取mat文件,并转为csv文件的实例
2018/07/04 Python
Python实现登陆文件验证方法
2018/10/06 Python
Tensorflow实现神经网络拟合线性回归
2019/07/19 Python
Python如何基于smtplib发不同格式的邮件
2019/12/30 Python
捐款倡议书
2014/04/14 职场文书
竞聘上岗演讲稿
2014/05/16 职场文书
工业设计专业自荐书
2014/06/05 职场文书
机电一体化应届生求职信
2014/08/09 职场文书
陕西导游词
2015/02/04 职场文书
python绘制箱型图
2021/04/27 Python
JavaScript实现外溢动态爱心的效果的示例代码
2022/03/21 Javascript