首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

python爬虫之BeautifulSoup 使用select方法详解

Posted in Python onOctober 23, 2017

本文介绍了python爬虫之BeautifulSoup 使用select方法详解 ，分享给大家。具体如下：

<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list

（1）通过标签名查找

print soup.select('title') 
#[<title>The Dormouse's story</title>]
 
print soup.select('a')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link3">Tillie</a>]
 
print soup.select('b')
#[<b>The Dormouse's story</b>]

（2）通过类名查找

print soup.select('.sister')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link3">Tillie</a>]

（3）通过 id 名查找

print soup.select('#link1')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>]

（4）组合查找

组合查找即和写 class 文件时，标签名与类名、id名进行的组合原理是一样的，例如查找 p 标签中，id 等于 link1的内容，二者需要用空格分开

print soup.select('p #link1')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>]

直接子标签查找

print soup.select("head > title")
#[<title>The Dormouse's story</title>]

（5）属性查找

查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到。

print soup.select("head > title")
#[<title>The Dormouse's story</title>]
 
print soup.select('a[href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" ]')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>]

同样，属性仍然可以与上述查找方式组合，不在同一节点的空格隔开，同一节点的不加空格

print soup.select('p a[href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" ]')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>]

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持三水点靠木。

python爬虫之BeautifulSoup 使用select方法详解

- Author -

古怪的一阵风

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
gearman的安装启动及python API使用实例
Jul 08 Python
详解Python当中的字符串和编码
Apr 25 Python
Python中类型关系和继承关系实例详解
May 25 Python
实例讲解Python中global语句下全局变量的值的修改
Jun 16 Python
Python简单实现两个任意字符串乘积的方法示例
Apr 12 Python
Python实现求解括号匹配问题的方法
Apr 17 Python
Django web框架使用url path name详解
Apr 29 Python
解决.ui文件生成的.py文件运行不出现界面的方法
Jun 19 Python
python tkinter控件布局项目实例
Nov 04 Python
利用Vscode进行Python开发环境配置的步骤
Jun 22 Python
Keras预训练的ImageNet模型实现分类操作
Jul 07 Python
python 制作网站小说下载器
Feb 20 Python
浅谈python中copy和deepcopy中的区别
Oct 23 #Python
python的构建工具setup.py的方法使用示例
Oct 23 #Python
python使用pyqt写带界面工具的示例代码
Oct 23 #Python
基于Django的python验证码(实例讲解)
Oct 23 #Python
itchat接口使用示例
Oct 23 #Python
python实现微信接口(itchat)详细介绍
Oct 23 #Python
python爬虫_微信公众号推送信息爬取的实例
Oct 23 #Python
乐信(1) 安健(1) ICF-SW7600(1) 德劲1102(1) SHARP(1) 低放电路(1) SRF-M100(1) RP2100(1) GF515(1) PL550(1)
You might like
discuz Passport 通行证 整合笔记
2008/06/30 PHP
php代码中使用换行及(\n或\r\n和br)的应用
2013/02/02 PHP
一个显示效果非常不错的PHP错误、异常处理类
2014/03/21 PHP
php实现约瑟夫问题的方法小结
2015/03/23 PHP
用jscript启动sqlserver
2007/06/21 Javascript
javascript 四则运算精度修正函数代码
2010/05/31 Javascript
jQuery中filter(),not(),split()使用方法
2010/07/06 Javascript
select、radio表单回显功能实现避免使用jquery载入赋值
2013/06/08 Javascript
在每个匹配元素的外部插入新元素的方法
2013/12/20 Javascript
利用jQuery简单实现产品展示图片左右滚动功能(示例代码)
2014/01/02 Javascript
js控制input框只读实现示例
2014/01/20 Javascript
Javascript和Java获取各种form表单信息的简单实例
2014/02/14 Javascript
使用jQuery jqPlot插件绘制柱状图
2014/12/18 Javascript
jQuery实现仿腾讯微博滑出效果报告每日天气的方法
2015/05/11 Javascript
JavaScript中操作字符串之localeCompare()方法的使用
2015/06/06 Javascript
js日期相关函数dateAdd,dateDiff,dateFormat等介绍
2016/09/24 Javascript
详解jQuery简单的表单应用
2016/12/16 Javascript
Angular的事件和表单详解
2016/12/26 Javascript
详解在Vue.js编写更好的v-for循环的6种技巧
2020/04/14 Javascript
python MySQLdb Windows下安装教程及问题解决方法
2015/05/09 Python
pytorch-RNN进行回归曲线预测方式
2020/01/14 Python
python利用pytesseract 实现本地识别图片文字
2020/12/14 Python
美国嘻哈首饰购物网站：Hip Hop Bling
2016/12/30 全球购物
预订全球最佳旅行体验：Viator
2018/03/30 全球购物
用C#语言写出与SQLSERVER访问时的具体过程
2013/04/16 面试题
建材业务员岗位职责
2013/12/08 职场文书
群众路线教师自我剖析材料
2014/09/29 职场文书
付款委托书范本
2014/10/05 职场文书
MBA推荐信怎么写
2015/03/25 职场文书
天河观后感
2015/06/11 职场文书
安全教育主题班会教案
2015/08/12 职场文书
文明上网主题班会
2015/08/14 职场文书
民政局2016年“六一”儿童节慰问活动总结
2016/04/06 职场文书
MySQL sql_mode修改不生效的原因及解决
2021/05/07 MySQL
【海涛教你打dota】体验一超神发条：咱是抢盾专业户
2022/04/01 DOTA
Spring IOC容器Bean的作用域及生命周期实例
2022/05/30 Java/Android