编程 Python

python爬虫之BeautifulSoup 使用select方法详解

Posted in Python onOctober 23, 2017

本文介绍了python爬虫之BeautifulSoup 使用select方法详解，分享给大家。具体如下：

<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list

（1）通过标签名查找

print soup.select('title') 
#[<title>The Dormouse's story</title>]
 
print soup.select('a')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link3">Tillie</a>]
 
print soup.select('b')
#[<b>The Dormouse's story</b>]

（2）通过类名查找

print soup.select('.sister')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link3">Tillie</a>]

（3）通过 id 名查找

print soup.select('#link1')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>]

（4）组合查找

组合查找即和写 class 文件时，标签名与类名、id名进行的组合原理是一样的，例如查找 p 标签中，id 等于 link1的内容，二者需要用空格分开

print soup.select('p #link1')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>]

直接子标签查找

print soup.select("head > title")
#[<title>The Dormouse's story</title>]

（5）属性查找

查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到。

print soup.select("head > title")
#[<title>The Dormouse's story</title>]
 
print soup.select('a[href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" ]')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>]

同样，属性仍然可以与上述查找方式组合，不在同一节点的空格隔开，同一节点的不加空格

print soup.select('p a[href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" ]')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>]

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持三水点靠木。

python爬虫之BeautifulSoup 使用select方法详解

- Author -

古怪的一阵风

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

零基础写python爬虫之抓取糗事百科代码分享

Nov 06 Python

Python与shell的3种交互方式介绍

Apr 11 Python

Python列表删除的三种方法代码分享

Oct 31 Python

对python使用http、https代理的实例讲解

May 07 Python

Flask之flask-session的具体使用

Jul 26 Python

pandas的qcut()方法详解

Jul 06 Python

python 梯度法求解函数极值的实例

Jul 10 Python

100行Python代码实现每天不同时间段定时给女友发消息

Sep 27 Python

2020新版本pycharm+anaconda+opencv+pyqt环境配置学习笔记,亲测可用

Mar 24 Python

基于python实现复制文件并重命名

Sep 16 Python

Pandas DataFrame求差集的示例代码

Dec 13 Python

Python 虚拟环境工作原理解析

Dec 24 Python

浅谈python中copy和deepcopy中的区别

Oct 23 #Python

python的构建工具setup.py的方法使用示例

Oct 23 #Python

python使用pyqt写带界面工具的示例代码

Oct 23 #Python

基于Django的python验证码(实例讲解)

Oct 23 #Python

itchat接口使用示例

Oct 23 #Python

python实现微信接口(itchat)详细介绍

Oct 23 #Python

python爬虫_微信公众号推送信息爬取的实例

Oct 23 #Python

You might like

PHP Stream_*系列函数

2010/08/01 PHP

php中inlcude()性能对比详解

2012/09/16 PHP

zf框架的session会话周期及次数限制使用示例

2014/03/13 PHP

PHP将二维数组某一个字段相同的数组合并起来的方法

2016/02/26 PHP

ThinkPHP实现分页功能

2017/04/28 PHP

php 替换文章中的图片路径,下载图片到本地服务器的方法

2018/02/06 PHP

ThinkPHP5框架实现简单的批量查询功能示例

2018/06/07 PHP

js prototype截取字符串函数

2010/04/01 Javascript

js 控制图片大小核心讲解

2013/10/09 Javascript

js控制鼠标事件移动及移出效果显示

2014/10/19 Javascript

jQuery中:input选择器用法实例

2015/01/03 Javascript

Javascript优化技巧之短路表达式详细介绍

2015/03/27 Javascript

JS实现在状态栏显示打字效果完整实例

2015/11/02 Javascript

Bootstrap基本组件学习笔记之导航(10)

2016/12/07 Javascript

jquery广告无缝轮播实例

2017/01/05 Javascript

Angularjs自定义指令实现三级联动选择地理位置

2017/02/13 Javascript

vue实现微信分享朋友圈,发送朋友的示例讲解

2018/02/10 Javascript

vue动态子组件的两种实现方式

2019/09/01 Javascript

[04:44]DOTA2英雄梦之声_第12期_矮人直升机

2014/06/21 DOTA

python批量生成本地ip地址的方法

2015/03/23 Python

python在openstreetmap地图上绘制路线图的实现

2019/07/11 Python

Python符号计算之实现函数极限的方法

2019/07/15 Python

python 视频逐帧保存为图片的完整实例

2019/12/10 Python

通过实例解析python描述符原理作用

2020/01/22 Python

django-利用session机制实现唯一登录的例子

2020/03/16 Python

Python函数参数定义及传递方式解析

2020/06/10 Python

keras 自定义loss层+接受输入实例

2020/06/28 Python

python 绘制正态曲线的示例

2020/09/24 Python

捷克原创男装和女装购物网站：Bolf.cz

2018/04/28 全球购物

电子商务专业个人的自我评价分享

2013/10/29 职场文书

十佳大学生事迹材料

2014/01/29 职场文书

《金色的脚印》教后反思

2014/04/23 职场文书

夫妻忠诚协议范文

2014/11/16 职场文书

辞职信怎么写

2015/02/27 职场文书

宣传部部长竞选稿

2015/11/21 职场文书

Python matplotlib 利用随机函数生成变化图形

2022/04/26 Python