BeautifulSoup获取指定class样式的div的实现


Posted in Python onDecember 07, 2020

如何获取指定的标签的内容是解析网页爬取数据的必要手段,比如想获取<div class='xxx'> ...<div>这样的div标签,通常有三种办法,

1)用字符串查找方法,然后切分字符串(或切片操作),如str.index(patternStr)或str.find(patternStr),这种方法快,但步骤多,因为要去头去尾。

2)用正则表达式,比如'<div class="result_info">([\s\S]+?)</div>',通过正则表达式的括号,可以获取匹配的内容,即<div ..></div>之间的内容:

import re

def getTags(html):
 reg = r'<div class="result_info">([\s\S]+?)</div>'
 pattern= re.compile(reg)
 tags= re.findall(pattern, html)
 return tags

不过正则表达式仍有缺点,例如'<div class="result_info">([\s\S]+?)</div>'括号中的问号表示非贪婪匹配,正常情况下可以匹配到所需要的内容,但如果class="result_info"的div中还嵌套了子的div,那么正则表达式的后半部分"</div>"将会匹配子div的结尾部分</div>,而不是希望的父div.

假如有这样一个html:

<div class="result_info">
  <p>some paragraph test 1
  </p>
  <p>some paragraph test 2
  </p>
  <div id="div_sub" class="sub_div_style">
  some contents in sub div
  </div>
  backend content here
 </div>

那么backend contents here这段内容将会匹配不到,正则表达式将会将id为div_sub的</div>作为结尾。

3)使用第三方库,比如BeautifulSoup,优点是准确,缺点是速度会比字符串切分、正则表达式慢,下面说说BeautifulSoup的用法。

按照BeautifulSoup官方文档的说明怎么都不能成功,后来在百度知道(http://zhidao.baidu.com/question/433247968620775644.html)找到答案,真是扯淡,附上有效代码:

soup=BeautifulSoup(html)
print soup.find_all(name='div',attrs={"class":"footer"})#按照字典的形式给attrs参数赋值

完整的:

from bs4 import BeautifulSoup
import urllib2

def getTargetDiv(url,myAttrs):
 html=urllib2.urlopen(url).read()
 soup=BeautifulSoup(html)
 return soup.find_all(name='div',attrs=myAttrs)

if __name__=="__main__":
 url=r'http://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/'
 myAttrs={'class':'footer'}
 print getTargetDiv(url, myAttrs)

按照官方文档(http://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/)的做法:

#1.soup.find_all("a", class_="sister")
#2.css_soup.find_all("p", class_="body")
#3.soup.find_all(href=re.compile("elsie"))

改成

soup.find_all(name='div',class_=re.compile('info_item'))

或者

soup.find_all('div',class_='info_item')

都没有匹配结果,经测试需要soup.find_all(name='div',attrs={"class":"footer"})这样以字典的形式给attrs参数赋值才可以。

另一个例子,获取指定样式的div内的所有图片url,并下载保存:

urls=[]
for img in soup.find('div',attrs={'class':'wrap'}).find_all('img'):#找到class="wrap"的div里面的所有<img>标签
 urls.append(img.attrs['src'])#获取img标签的src属性,即图片网址

i=0
savedir=r'C:\Users\hp\Desktop\Images'#路径中不能包含中文
for url in urls:
 urllib.urlretrieve(url, '%s\%s.jpg'%(savedir,i))
 i+=1
print 'Done'

更多用法,可参考:https://3water.com/article/184386.htm

到此这篇关于BeautifulSoup获取指定class样式的div的实现的文章就介绍到这了,更多相关BeautifulSoup获取class样式的div内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python实现telnet服务器的方法
Jul 10 Python
Python下Fabric的简单部署方法
Jul 14 Python
举例讲解Python设计模式编程中对抽象工厂模式的运用
Mar 02 Python
Python和C/C++交互的几种方法总结
May 11 Python
python绘制铅球的运行轨迹代码分享
Nov 14 Python
使用pyqt 实现重复打开多个相同界面
Dec 13 Python
django自定义模板标签过程解析
Dec 14 Python
用openCV和Python 实现图片对比,并标识出不同点的方式
Dec 19 Python
通过Turtle库在Python中绘制一个鼠年福鼠
Feb 03 Python
Python基于内置函数type创建新类型
Oct 22 Python
Python函数式编程中itertools模块详解
Sep 15 Python
Python数据处理的三个实用技巧分享
Apr 01 Python
用Python实现童年贪吃蛇小游戏功能的实例代码
Dec 07 #Python
Selenium+BeautifulSoup+json获取Script标签内的json数据
Dec 07 #Python
Python爬虫实战案例之爬取喜马拉雅音频数据详解
Dec 07 #Python
用python对excel查重
Dec 07 #Python
python3 通过 pybind11 使用Eigen加速代码的步骤详解
Dec 07 #Python
python 通过 pybind11 使用Eigen加速代码的步骤
Dec 07 #Python
Python中BeautifulSoup通过查找Id获取元素信息
Dec 07 #Python
You might like
Yii PHP Framework实用入门教程(详细介绍)
2013/06/18 PHP
php实现的zip文件内容比较类
2014/09/24 PHP
在PHP站点的页面上添加Facebook评论插件的实例教程
2016/01/08 PHP
thinkPHP5.0框架简单配置作用域的方法
2017/03/17 PHP
PHP 进程池与轮询调度算法实现多任务的示例代码
2019/11/26 PHP
JS模拟面向对象全解(二、类型与赋值)
2011/07/13 Javascript
一个基于jQuery的树型插件(OrangeTree)使用介绍
2012/05/03 Javascript
网页打开自动最大化的js代码
2012/08/22 Javascript
Enter转换为Tab的小例子(兼容IE,Firefox)
2013/11/14 Javascript
ExtJS4中的requires使用方法示例介绍
2013/12/03 Javascript
JavaScript中的数组遍历forEach()与map()方法以及兼容写法介绍
2016/05/19 Javascript
jQuery Ajax和getJSON获取后台普通json数据和层级json数据用法分析
2016/06/08 Javascript
常用Javascript函数与原型功能收藏(必看篇)
2016/10/09 Javascript
webpack入门必知必会
2017/01/16 Javascript
JS实现的找零张数最小问题示例
2017/11/28 Javascript
详解 vue better-scroll滚动插件排坑
2018/02/08 Javascript
利用hasOwnProperty给数组去重的面试题分享
2018/11/05 Javascript
原生js添加一个或多个类名的方法分析
2019/07/30 Javascript
JavaScript this在函数中的指向及实例详解
2019/10/14 Javascript
JavaScript实现串行请求的示例代码
2020/09/14 Javascript
Python机器学习logistic回归代码解析
2018/01/17 Python
tensorflow实现对图片的读取的示例代码
2018/02/12 Python
Python返回数组/List长度的实例
2018/06/23 Python
Pytorch Tensor 输出为txt和mat格式方式
2020/01/03 Python
HTML5实现自带进度条和滑块滑杆效果
2018/04/17 HTML / CSS
美国隐形眼镜零售商:LensPure
2019/03/10 全球购物
Java平台和其他软件平台有什么不同
2015/06/05 面试题
后勤岗位职责
2013/11/26 职场文书
文明学生标兵事迹
2014/01/21 职场文书
上班离岗检讨书
2014/01/27 职场文书
战友聚会主持词
2014/04/02 职场文书
竞选班委演讲稿
2014/04/28 职场文书
开学典礼演讲稿
2014/05/23 职场文书
地理信息科学专业推荐信
2014/09/08 职场文书
感恩教师主题班会
2015/08/12 职场文书
Python3 如何开启自带http服务
2021/05/18 Python