首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

python爬虫之BeautifulSoup 使用select方法详解

Posted in Python onOctober 23, 2017

本文介绍了python爬虫之BeautifulSoup 使用select方法详解 ，分享给大家。具体如下：

<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list

（1）通过标签名查找

print soup.select('title') 
#[<title>The Dormouse's story</title>]
 
print soup.select('a')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link3">Tillie</a>]
 
print soup.select('b')
#[<b>The Dormouse's story</b>]

（2）通过类名查找

print soup.select('.sister')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link3">Tillie</a>]

（3）通过 id 名查找

print soup.select('#link1')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>]

（4）组合查找

组合查找即和写 class 文件时，标签名与类名、id名进行的组合原理是一样的，例如查找 p 标签中，id 等于 link1的内容，二者需要用空格分开

print soup.select('p #link1')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>]

直接子标签查找

print soup.select("head > title")
#[<title>The Dormouse's story</title>]

（5）属性查找

查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到。

print soup.select("head > title")
#[<title>The Dormouse's story</title>]
 
print soup.select('a[href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" ]')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>]

同样，属性仍然可以与上述查找方式组合，不在同一节点的空格隔开，同一节点的不加空格

print soup.select('p a[href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" ]')
#[<a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1"><!-- Elsie --></a>]

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持三水点靠木。

python爬虫之BeautifulSoup 使用select方法详解

- Author -

古怪的一阵风

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
Python编写检测数据库SA用户的方法
Jul 11 Python
Python中的引用和拷贝浅析
Nov 22 Python
Python配置文件解析模块ConfigParser使用实例
Apr 13 Python
Python的爬虫框架scrapy用21行代码写一个爬虫
Apr 24 Python
python实现BP神经网络回归预测模型
Aug 09 Python
使用python实现unix2dos和dos2unix命令的例子
Aug 13 Python
Python使用get_text()方法从大段html中提取文本的实例
Aug 27 Python
TensorFLow 变量命名空间实例
Feb 11 Python
python实现电子词典
Mar 03 Python
python批量替换文件名中的共同字符实例
Mar 05 Python
tensorflow转换ckpt为savermodel模型的实现
May 25 Python
python 用opencv实现霍夫线变换
Nov 27 Python
浅谈python中copy和deepcopy中的区别
Oct 23 #Python
python的构建工具setup.py的方法使用示例
Oct 23 #Python
python使用pyqt写带界面工具的示例代码
Oct 23 #Python
基于Django的python验证码(实例讲解)
Oct 23 #Python
itchat接口使用示例
Oct 23 #Python
python实现微信接口(itchat)详细介绍
Oct 23 #Python
python爬虫_微信公众号推送信息爬取的实例
Oct 23 #Python
介绍信(57) 广播稿(323) 表扬信(62) 教学反思(909) 检讨书(456) 辞职信(98) 事迹材料(636) 方案(1080) 邀请函(127) 感言(394)
You might like
curl不使用文件存取cookie php使用curl获取cookie示例
2014/01/26 PHP
Symfony2中被遗弃的getRequest()方法分析
2016/03/17 PHP
Yii的Srbac插件用法详解
2016/07/14 PHP
yii2 resetful 授权验证详解
2017/05/18 PHP
prototype 学习笔记整理
2009/07/17 Javascript
JavaScript具有类似Lambda表达式编程能力的代码(改进版)
2010/09/14 Javascript
jQuery.ajax 用户登录验证代码
2010/10/29 Javascript
Jquery拖拽并简单保存的实现代码
2010/11/28 Javascript
jQuery操作input type=radio的实现代码
2012/06/14 Javascript
jQuery实现鼠标滑过遮罩并高亮显示效果
2013/07/16 Javascript
javascript 事件处理示例分享
2014/12/31 Javascript
js的flv视频播放器插件使用方法
2015/06/23 Javascript
javascript中window.open在原来的窗口中打开新的窗口(不同名)
2015/11/15 Javascript
js立即执行函数: (function ( ){})( ) 与 (function ( ){}( )) 有什么区别?
2015/11/18 Javascript
Bootstrap 粘页脚效果
2016/03/28 Javascript
原生js实现放大镜特效
2017/03/08 Javascript
值得分享和收藏的xmlplus组件学习教程
2017/05/05 Javascript
微信小程序实现刷脸登录
2018/05/25 Javascript
小程序使用wxs解决wxml保留2位小数问题
2019/12/13 Javascript
python利用MethodType绑定方法到类示例代码
2017/08/27 Python
python中WSGI是什么，Python应用WSGI详解
2017/11/24 Python
python 信息同时输出到控制台与文件的实例讲解
2018/05/11 Python
pandas 按照特定顺序输出的实现代码
2018/07/10 Python
pycharm如何使用anaconda中的各种包(操作步骤)
2020/07/31 Python
CSS3自定义滚动条样式 ::webkit-scrollbar的示例代码详解
2020/06/01 HTML / CSS
美国美妆网站：B-Glowing
2016/10/12 全球购物
Nike加拿大官网：Nike.com (CA)
2019/04/09 全球购物
利达恒信公司.NET笔试题面试题
2016/03/05 面试题
集团公司总经理岗位职责
2013/12/20 职场文书
2014年党务公开实施方案
2014/02/27 职场文书
贷款委托书范本
2014/04/08 职场文书
党员教师个人对照检查材料（群众路线）
2014/09/26 职场文书
简易离婚协议书范本
2014/10/24 职场文书
社区六一儿童节活动总结
2015/02/11 职场文书
2016年教师学习教师法心得体会
2016/01/20 职场文书
《家庭教育》读后感3篇
2019/12/18 职场文书