首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

面向新手解析python Beautiful Soup基本用法

Posted in Python onJuly 11, 2020

Beautiful Soup就是Python的一个HTML或XML的解析库，可以用它来方便地从网页中提取数据。它有如下三个特点：

  • Beautiful Soup提供一些简单的、Python式的函数来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。
  • Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为UTF-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时你仅仅需要说明一下原始编码方式就可以了。
  • Beautiful Soup已成为和lxml、html6lib一样出色的Python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

首先，我们要安装它：pip install bs4,然后安装 pip install beautifulsoup4.

Beautiful Soup支持的解析器

面向新手解析python Beautiful Soup基本用法

下面我们以lxml解析器为例：

from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>Hello</p>', 'lxml')
print(soup.p.string)

结果：

Hello

beautiful soup美化的效果实例：

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')#调用prettify()方法。这个方法可以把要解析的字符串以标准的缩进格式输出
print(soup.prettify())
print(soup.title.string)

结果：

<html>
 <head>
 <title>
  The Dormouse's story
 </title>
 </head>
 <body>
 <p class="title" name="dromouse">
  <b>
  The Dormouse's story
  </b>
 </p>
 <p class="story">
  Once upon a time there were three little sisters; and their names were
  <a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1">
  <!-- Elsie -->
  </a>
  ,
  <a class="sister" href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link2">
  Lacie
  </a>
  and
  <a class="sister" href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link3">
  Tillie
  </a>
  ;
and they lived at the bottom of a well.
 </p>
 <p class="story">
  ...
 </p>
 </body>
</html>
The Dormouse's story

下面举例说明选择元素、属性、名称的方法

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print('输出结果为title节点加里面的文字内容:\n',soup.title)
print('输出它的类型:\n',type(soup.title))
print('输出节点的文本内容:\n',soup.title.string)
print('结果是节点加其内部的所有内容:\n',soup.head)
print('结果是第一个p节点的内容:\n',soup.p)
print('利用name属性获取节点的名称:\n',soup.title.name)
#这里需要注意的是，有的返回结果是字符串，有的返回结果是字符串组成的列表。
# 比如，name属性的值是唯一的，返回的结果就是单个字符串。
# 而对于class，一个节点元素可能有多个class，所以返回的是列表。
print('每个节点可能有多个属性，比如id和class等:\n',soup.p.attrs)
print('选择这个节点元素后，可以调用attrs获取所有属性：\n',soup.p.attrs['name'])
print('获取p标签的name属性值：\n',soup.p['name'])
print('获取p标签的class属性值：\n',soup.p['class'])
print('获取第一个p节点的文本:\n',soup.p.string)

结果：

输出结果为title节点加里面的文字内容:
<title>The Dormouse's story</title>
输出它的类型:
<class 'bs4.element.Tag'>
输出节点的文本内容:
The Dormouse's story
结果是节点加其内部的所有内容:
<head><title>The Dormouse's story</title></head>
结果是第一个p节点的内容:
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
利用name属性获取节点的名称:
title
每个节点可能有多个属性，比如id和class等:
{'class': ['title'], 'name': 'dromouse'}
选择这个节点元素后，可以调用attrs获取所有属性：
dromouse
获取p标签的name属性值：
dromouse
获取p标签的class属性值：
['title']
获取第一个p节点的文本:
The Dormouse's story

在上面的例子中，我们知道每一个返回结果都是bs4.element.Tag类型，它同样可以继续调用节点进行下一步的选择。

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print('获取了head节点元素，继续调用head来选取其内部的head节点元素:\n',soup.head.title)
print('继续调用输出类型：\n',type(soup.head.title))
print('继续调用输出内容：\n',soup.head.title.string)

结果：

获取了head节点元素，继续调用head来选取其内部的head节点元素:
 <title>The Dormouse's story</title>
继续调用输出类型：
 <class 'bs4.element.Tag'>
继续调用输出内容：
 The Dormouse's story

（1）find_all()

find_all，顾名思义，就是查询所有符合条件的元素。给它传入一些属性或文本，就可以得到符合条件的元素，它的功能十分强大。

find_all(name , attrs , recursive , text , **kwargs)

他的用法：

html='''
<div class="panel">
  <div class="panel-heading">
    <h4>Hello</h4>
  </div>
  <div class="panel-body">
    <ul class="list" id="list-1">
      <li class="element">Foo</li>
      <li class="element">Bar</li>
      <li class="element">Jay</li>
    </ul>
    <ul class="list list-small" id="list-2">
      <li class="element">Foo</li>
      <li class="element">Bar</li>
    </ul>
  </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print('查询所有ul节点，返回结果是列表类型，长度为2:\n',soup.find_all(name='ul'))
print('每个元素依然都是bs4.element.Tag类型:\n',type(soup.find_all(name='ul')[0]))
#将以上步骤换一种方式，遍历出来
for ul in soup.find_all(name='ul'):
  print('输出每个u1:',ul.find_all(name='li'))
#遍历两层
for ul in soup.find_all(name='ul'):
  print('输出每个u1:',ul.find_all(name='li'))
  for li in ul.find_all(name='li'):
    print('输出每个元素：',li.string)

结果：

查询所有ul节点，返回结果是列表类型，长度为2:
 [<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>, <ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>]
每个元素依然都是bs4.element.Tag类型:
 <class 'bs4.element.Tag'>
输出每个u1: [<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
输出每个u1: [<li class="element">Foo</li>, <li class="element">Bar</li>]
输出每个u1: [<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
输出每个元素： Foo
输出每个元素： Bar
输出每个元素： Jay
输出每个u1: [<li class="element">Foo</li>, <li class="element">Bar</li>]
输出每个元素： Foo
输出每个元素： Bar

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持三水点靠木。

面向新手解析python Beautiful Soup基本用法

- Author -

夏日的向日葵

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
Python入门篇之对象类型
Oct 17 Python
Python中使用gzip模块压缩文件的简单教程
Apr 08 Python
python抓取并保存html页面时乱码问题的解决方法
Jul 01 Python
Python科学画图代码分享
Nov 29 Python
详解tensorflow载入数据的三种方式
Apr 24 Python
python pandas中对Series数据进行轴向连接的实例
Jun 08 Python
Python对象属性自动更新操作示例
Jun 15 Python
python实现俄罗斯方块游戏（改进版）
Mar 13 Python
使用python脚本自动生成K8S-YAML的方法示例
Jul 12 Python
python模拟点击在ios中实现的实例讲解
Nov 26 Python
Python控制台输出俄罗斯方块的方法实例
Apr 17 Python
python 判断字符串当中是否包含字符(str.contain)
Jun 01 Python
基于python实现判断字符串是否数字算法
Jul 10 #Python
基于python实现计算两组数据P值
Jul 10 #Python
Python3爬虫中关于Ajax分析方法的总结
Jul 10 #Python
Python3爬虫中Ajax的用法
Jul 10 #Python
Python3爬虫中Selenium的用法详解
Jul 10 #Python
Python3爬虫中Splash的知识总结
Jul 10 #Python
Python3爬虫里关于Splash负载均衡配置详解
Jul 10 #Python
XPathParser(1) sock(2) minio(1) appdata(1) sentinel(1) Windows server 2003(1) mysqldump(1) 黑屏(2) protocol(1) ACID(1)
You might like
php面向对象全攻略 （二） 实例化对象 使用对象成员
2009/09/30 PHP
给初学者的30条PHP最佳实践(荒野无灯)
2011/08/02 PHP
PHP父类调用子类方法的代码例子
2014/04/09 PHP
php使用gearman进行任务分发操作实例详解
2020/02/26 PHP
jquery 仿QQ校友的DIV模拟窗口效果源码
2010/03/24 Javascript
jQuery 名称冲突的解决方法
2011/04/08 Javascript
js jquery分别实现动态的文件上传操作按钮的添加和删除
2014/01/13 Javascript
基于jquery的手风琴图片展示效果实现方法
2014/12/16 Javascript
AngularJS实现单独作用域内的数据操作
2016/09/05 Javascript
Vue.js每天必学之方法与事件处理器
2016/09/06 Javascript
JS+CSS实现下拉刷新/上拉加载插件
2017/03/31 Javascript
详解angularJs模块ui-router之状态嵌套和视图嵌套
2017/04/28 Javascript
jQuery实现 RadioButton做必选校验功能
2017/06/15 jQuery
使用Vue-Router 2实现路由功能实例详解
2017/11/14 Javascript
Vue2仿淘宝实现省市区三级联动
2020/04/15 Javascript
Thinkjs3新手入门之如何使用静态资源目录
2017/12/06 Javascript
详解vue-cli中模拟数据的两种方法
2018/07/03 Javascript
简单了解Ajax表单序列化的实现方法
2019/06/14 Javascript
vue实现Input输入框模糊查询方法
2021/01/29 Javascript
Vue+Node实现的商城用户管理功能示例
2019/12/23 Javascript
Vue数组响应式操作及高阶函数使用代码详解
2020/08/01 Javascript
解决Vue的文本编辑器 vue-quill-editor 小图标样式排布错乱问题
2020/08/03 Javascript
vue项目实现减少app.js和vender.js的体积操作
2020/11/12 Javascript
python操作MySQL数据库具体方法
2013/10/28 Python
跟老齐学Python之大话题小函数(2)
2014/10/10 Python
Python 获取指定文件夹下的目录和文件的实现
2019/08/30 Python
python 解决tqdm模块不能单行显示的问题
2020/02/19 Python
在python image 中实现安装中文字体
2020/05/16 Python
Python基于BeautifulSoup爬取京东商品信息
2020/06/01 Python
医学专业五年以上个人求职信
2013/12/03 职场文书
境外导游求职信
2014/02/27 职场文书
2014预备党员党课学习心得范文
2014/07/08 职场文书
社区综治工作汇报
2014/10/27 职场文书
六一文艺汇演开幕词
2015/01/29 职场文书
社区低保工作总结2015
2015/07/23 职场文书
JS开发前端团队展示控制器来为成员引流
2022/08/14 Javascript