首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

面向新手解析python Beautiful Soup基本用法

Posted in Python onJuly 11, 2020

Beautiful Soup就是Python的一个HTML或XML的解析库，可以用它来方便地从网页中提取数据。它有如下三个特点：

  • Beautiful Soup提供一些简单的、Python式的函数来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。
  • Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为UTF-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时你仅仅需要说明一下原始编码方式就可以了。
  • Beautiful Soup已成为和lxml、html6lib一样出色的Python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

首先，我们要安装它：pip install bs4,然后安装 pip install beautifulsoup4.

Beautiful Soup支持的解析器

面向新手解析python Beautiful Soup基本用法

下面我们以lxml解析器为例：

from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>Hello</p>', 'lxml')
print(soup.p.string)

结果：

Hello

beautiful soup美化的效果实例：

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')#调用prettify()方法。这个方法可以把要解析的字符串以标准的缩进格式输出
print(soup.prettify())
print(soup.title.string)

结果：

<html>
 <head>
 <title>
  The Dormouse's story
 </title>
 </head>
 <body>
 <p class="title" name="dromouse">
  <b>
  The Dormouse's story
  </b>
 </p>
 <p class="story">
  Once upon a time there were three little sisters; and their names were
  <a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1">
  <!-- Elsie -->
  </a>
  ,
  <a class="sister" href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link2">
  Lacie
  </a>
  and
  <a class="sister" href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link3">
  Tillie
  </a>
  ;
and they lived at the bottom of a well.
 </p>
 <p class="story">
  ...
 </p>
 </body>
</html>
The Dormouse's story

下面举例说明选择元素、属性、名称的方法

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print('输出结果为title节点加里面的文字内容:\n',soup.title)
print('输出它的类型:\n',type(soup.title))
print('输出节点的文本内容:\n',soup.title.string)
print('结果是节点加其内部的所有内容:\n',soup.head)
print('结果是第一个p节点的内容:\n',soup.p)
print('利用name属性获取节点的名称:\n',soup.title.name)
#这里需要注意的是，有的返回结果是字符串，有的返回结果是字符串组成的列表。
# 比如，name属性的值是唯一的，返回的结果就是单个字符串。
# 而对于class，一个节点元素可能有多个class，所以返回的是列表。
print('每个节点可能有多个属性，比如id和class等:\n',soup.p.attrs)
print('选择这个节点元素后，可以调用attrs获取所有属性：\n',soup.p.attrs['name'])
print('获取p标签的name属性值：\n',soup.p['name'])
print('获取p标签的class属性值：\n',soup.p['class'])
print('获取第一个p节点的文本:\n',soup.p.string)

结果：

输出结果为title节点加里面的文字内容:
<title>The Dormouse's story</title>
输出它的类型:
<class 'bs4.element.Tag'>
输出节点的文本内容:
The Dormouse's story
结果是节点加其内部的所有内容:
<head><title>The Dormouse's story</title></head>
结果是第一个p节点的内容:
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
利用name属性获取节点的名称:
title
每个节点可能有多个属性，比如id和class等:
{'class': ['title'], 'name': 'dromouse'}
选择这个节点元素后，可以调用attrs获取所有属性：
dromouse
获取p标签的name属性值：
dromouse
获取p标签的class属性值：
['title']
获取第一个p节点的文本:
The Dormouse's story

在上面的例子中，我们知道每一个返回结果都是bs4.element.Tag类型，它同样可以继续调用节点进行下一步的选择。

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print('获取了head节点元素，继续调用head来选取其内部的head节点元素:\n',soup.head.title)
print('继续调用输出类型：\n',type(soup.head.title))
print('继续调用输出内容：\n',soup.head.title.string)

结果：

获取了head节点元素，继续调用head来选取其内部的head节点元素:
 <title>The Dormouse's story</title>
继续调用输出类型：
 <class 'bs4.element.Tag'>
继续调用输出内容：
 The Dormouse's story

（1）find_all()

find_all，顾名思义，就是查询所有符合条件的元素。给它传入一些属性或文本，就可以得到符合条件的元素，它的功能十分强大。

find_all(name , attrs , recursive , text , **kwargs)

他的用法：

html='''
<div class="panel">
  <div class="panel-heading">
    <h4>Hello</h4>
  </div>
  <div class="panel-body">
    <ul class="list" id="list-1">
      <li class="element">Foo</li>
      <li class="element">Bar</li>
      <li class="element">Jay</li>
    </ul>
    <ul class="list list-small" id="list-2">
      <li class="element">Foo</li>
      <li class="element">Bar</li>
    </ul>
  </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print('查询所有ul节点，返回结果是列表类型，长度为2:\n',soup.find_all(name='ul'))
print('每个元素依然都是bs4.element.Tag类型:\n',type(soup.find_all(name='ul')[0]))
#将以上步骤换一种方式，遍历出来
for ul in soup.find_all(name='ul'):
  print('输出每个u1:',ul.find_all(name='li'))
#遍历两层
for ul in soup.find_all(name='ul'):
  print('输出每个u1:',ul.find_all(name='li'))
  for li in ul.find_all(name='li'):
    print('输出每个元素：',li.string)

结果：

查询所有ul节点，返回结果是列表类型，长度为2:
 [<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>, <ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>]
每个元素依然都是bs4.element.Tag类型:
 <class 'bs4.element.Tag'>
输出每个u1: [<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
输出每个u1: [<li class="element">Foo</li>, <li class="element">Bar</li>]
输出每个u1: [<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
输出每个元素： Foo
输出每个元素： Bar
输出每个元素： Jay
输出每个u1: [<li class="element">Foo</li>, <li class="element">Bar</li>]
输出每个元素： Foo
输出每个元素： Bar

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持三水点靠木。

面向新手解析python Beautiful Soup基本用法

- Author -

夏日的向日葵

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
python通过openpyxl生成Excel文件的方法
May 12 Python
Python简单删除目录下文件以及文件夹的方法
May 27 Python
正确理解python中的关键字“with”与上下文管理器
Apr 21 Python
Python编程django实现同一个ip十分钟内只能注册一次
Nov 03 Python
Python框架Flask的基本数据库操作方法分析
Jul 13 Python
使用tensorflow实现线性svm
Sep 07 Python
django框架之cookie/session的使用示例(小结)
Oct 15 Python
python 切换root 执行命令的方法
Jan 19 Python
python中的列表与元组的使用
Aug 08 Python
pytorch查看torch.Tensor和model是否在CUDA上的实例
Jan 03 Python
Python 爬取必应壁纸的实例讲解
Feb 24 Python
PYQT5 vscode联合操作qtdesigner的方法
Mar 24 Python
基于python实现判断字符串是否数字算法
Jul 10 #Python
基于python实现计算两组数据P值
Jul 10 #Python
Python3爬虫中关于Ajax分析方法的总结
Jul 10 #Python
Python3爬虫中Ajax的用法
Jul 10 #Python
Python3爬虫中Selenium的用法详解
Jul 10 #Python
Python3爬虫中Splash的知识总结
Jul 10 #Python
Python3爬虫里关于Splash负载均衡配置详解
Jul 10 #Python
name_scope (1) OVERLORD(1) variable_scope(1) character(1) mysql(6) 字符集(1) Keras(3) data(4) 神经网络(7) 数据表(1)
You might like
linux php mysql数据库备份实现代码
2009/03/10 PHP
对PHP新手的一些建议(PHP学习经验总结)
2014/08/20 PHP
php原生导出excel文件的两种方法(推荐)
2016/11/19 PHP
javascript 字符 Escape,encodeURI,encodeURIComponent
2009/07/09 Javascript
自定义百度分享的分享按钮
2015/03/18 Javascript
JavaScript判断表单中多选框checkbox选中个数的方法
2015/08/17 Javascript
JavaScript 弹出子窗体并返回结果到父窗体的实现代码
2016/05/28 Javascript
AngularJS基础 ng-list 指令详解及示例代码
2016/08/02 Javascript
jQuery css() 方法动态修改CSS属性
2016/09/25 Javascript
AngularJS用户选择器指令实例分析
2016/11/04 Javascript
JavaScript学习总结(一) ECMAScript、BOM、DOM（核心、浏览器对象模型与文档对象模型）
2018/01/07 Javascript
js+canvas实现滑动拼图验证码功能
2018/03/26 Javascript
Vue实现点击时间获取时间段查询功能
2020/08/21 Javascript
jQuery 实现倒计时天,时,分,秒功能
2018/07/31 jQuery
详解React 服务端渲染方案完美的解决方案
2018/12/14 Javascript
详解如何使用微信小程序云函数发送短信验证码
2019/03/13 Javascript
解决layui checkbox 提交多个值的问题
2019/09/02 Javascript
[33:09]完美世界DOTA2联赛循环赛 Forest vs DM BO2第二场 10.29
2020/10/29 DOTA
python获取一组汉字拼音首字母的方法
2015/07/01 Python
centos 安装python3.6环境并配置虚拟环境的详细教程
2018/02/22 Python
python获取网页中所有图片并筛选指定分辨率的方法
2018/03/31 Python
解决python 自动安装缺少模块的问题
2018/10/22 Python
Numpy的简单用法小结
2019/08/28 Python
使用Python构造hive insert语句说明
2020/06/06 Python
opencv 图像腐蚀和图像膨胀的实现
2020/07/07 Python
iHerb中文官网：维生素、保健品和健康产品
2018/11/01 全球购物
俄罗斯购买剧院和演唱会门票网站：Parter.ru
2019/11/09 全球购物
法律专业推荐信范文
2013/11/29 职场文书
人力资源部经理岗位职责规定
2014/02/23 职场文书
中西医专业毕业生职业规划书
2014/02/24 职场文书
校园文化艺术节宣传标语
2014/10/09 职场文书
关于清明节的演讲稿2015
2015/03/18 职场文书
SQL Server2019数据库之简单子查询的具有方法
2021/04/27 SQL Server
六个好看实用的 HTML + CSS 后台登录入口页面
2022/04/28 HTML / CSS
Redis 限流器
2022/05/15 Redis
服务器SVN搭建图文安装过程
2022/06/21 Servers