python 3利用BeautifulSoup抓取div标签的方法示例


Posted in Python onMay 28, 2017

前言

本文主要介绍的是关于python 3用BeautifulSoup抓取div标签的方法示例,分享出来供大家参考学习,下面来看看详细的介绍:

示例代码:

# -*- coding:utf-8 -*-
#python 2.7
#XiaoDeng
#http://tieba.baidu.com/p/2460150866
#标签操作


from bs4 import BeautifulSoup
import urllib.request
import re


#如果是网址,可以用这个办法来读取网页
#html_doc = "http://tieba.baidu.com/p/2460150866"
#req = urllib.request.Request(html_doc) 
#webpage = urllib.request.urlopen(req) 
#html = webpage.read()



html="""
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" rel="external nofollow" class="sister" id="xiaodeng"><!-- Elsie --></a>,
<a href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" rel="external nofollow" class="sister" id="link3">Tillie</a>;
<a href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" class="sister" id="xiaodeng">Lacie</a>
and they lived at the bottom of a well.</p>
<div class="ntopbar_loading"><img src="http://simg.sinajs.cn/blog7style/images/common/loading.gif">加载中…</div>

<div class="SG_connHead">
   <span class="title" comp_title="个人资料">个人资料</span>
   <span class="edit">
      </span>
<div class="info_list">  
         <ul class="info_list1">
     <li><span class="SG_txtc">博客等级:</span><span id="comp_901_grade"><img src="http://simg.sinajs.cn/blog7style/images/common/sg_trans.gif" real_src="http://simg.sinajs.cn/blog7style/images/common/number/9.gif" /></span></li>
     <li><span class="SG_txtc">博客积分:</span><span id="comp_901_score"><strong>0</strong></span></li>
     </ul>
     <ul class="info_list2">
     <li><span class="SG_txtc">博客访问:</span><span id="comp_901_pv"><strong>3,971</strong></span></li>
     <li><span class="SG_txtc">关注人气:</span><span id="comp_901_attention"><strong>0</strong></span></li>
     <li><span class="SG_txtc">获赠金笔:</span><strong id="comp_901_d_goldpen">0支</strong></li>
     <li><span class="SG_txtc">赠出金笔:</span><strong id="comp_901_r_goldpen">0支</strong></li>
     <li class="lisp" id="comp_901_badge"><span class="SG_txtc">荣誉徽章:</span></li>
     </ul>
     </div>
<div class="atcTit_more"><span class="SG_more"><a href="http://blog.sina.com.cn/" rel="external nofollow" rel="external nofollow" target="_blank">更多>></a></span></div>     
<p class="story">...</p>
"""
soup = BeautifulSoup(html, 'html.parser') #文档对象



# 类名为xxx而且文本内容为hahaha的div
for k in soup.find_all('div',class_='atcTit_more'):#,string='更多'
 print(k)
 #<div class="atcTit_more"><span class="SG_more"><a href="http://blog.sina.com.cn/" rel="external nofollow" rel="external nofollow" target="_blank">更多>></a></span></div>

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家三水点靠木的支持。

Python 相关文章推荐
Python中的条件判断语句与循环语句用法小结
Mar 21 Python
python实现日常记账本小程序
Mar 10 Python
Python加载带有注释的Json文件实例
May 23 Python
python统计字母、空格、数字等字符个数的实例
Jun 29 Python
win10 64bit下python NLTK安装教程
Sep 19 Python
python 文件查找及内容匹配方法
Oct 25 Python
如何用Python做一个微信机器人自动拉群
Jul 03 Python
python返回数组的索引实例
Nov 28 Python
Python3 操作 MySQL 插入一条数据并返回主键 id的实例
Mar 02 Python
python中shell执行知识点
May 06 Python
Python数据可视化常用4大绘图库原理详解
Oct 23 Python
Python Matplotlib绘制两个Y轴图像
Apr 13 Python
Python虚拟环境virtualenv的安装与使用详解
May 28 #Python
python 调用win32pai 操作cmd的方法
May 28 #Python
Python 稀疏矩阵-sparse 存储和转换
May 27 #Python
Django基础之Model操作步骤(介绍)
May 27 #Python
python之PyMongo使用总结
May 26 #Python
Python3安装Pymongo详细步骤
May 26 #Python
Python计时相关操作详解【time,datetime】
May 26 #Python
You might like
PHP扩展编写点滴 技巧收集
2010/03/09 PHP
判断php数组是否为索引数组的实现方法
2013/06/13 PHP
对比PHP对MySQL的缓冲查询和无缓冲查询
2016/07/01 PHP
php版微信发红包接口用法示例
2016/09/23 PHP
doctype后如何获得body.clientHeight的方法
2007/07/11 Javascript
JQuery Study Notes 学习笔记(一)
2010/08/04 Javascript
jquery中获取元素的几种方式小结
2011/07/05 Javascript
解析jQuery与其它js(Prototype)库兼容共存
2013/07/04 Javascript
采用自执行的匿名函数解决for循环使用闭包的问题
2014/09/11 Javascript
js调试工具Console命令详解
2014/10/21 Javascript
JS基于Ajax实现的网页Loading效果代码
2015/10/27 Javascript
jQuery中serializeArray()与serialize()的区别实例分析
2015/12/09 Javascript
Vuejs第九篇之组件作用域及props数据传递实例详解
2016/09/05 Javascript
Javascript实现页面滚动时导航智能定位
2017/05/06 Javascript
vue 中directive功能的简单实现
2018/01/05 Javascript
js 数组详细操作方法及解析合集
2018/06/01 Javascript
JS实现十分钟倒计时代码实例
2018/10/18 Javascript
微信小程序 腾讯地图SDK 获取当前地址实现解析
2019/08/12 Javascript
JS中多层次排序算法的实现代码
2021/01/06 Javascript
深入了解Vue动态组件和异步组件
2021/01/26 Vue.js
python字典序问题实例
2014/09/26 Python
Python脚本实现代码行数统计代码分享
2015/03/10 Python
python基于twisted框架编写简单聊天室
2018/01/02 Python
Python利用itchat库向好友或者公众号发消息的实例
2019/02/21 Python
Python3使用xml.dom.minidom和xml.etree模块儿解析xml文件封装函数的方法
2019/09/23 Python
解决jupyter运行pyqt代码内核重启的问题
2020/04/16 Python
使用Python通过oBIX协议访问Niagara数据的示例
2020/12/04 Python
Python-split()函数实例用法讲解
2020/12/18 Python
前端实现弹幕效果的方法总结(包含css3和canvas的实现方式)
2018/07/12 HTML / CSS
经典优秀毕业生求职信范文分享
2013/12/18 职场文书
创建绿色社区汇报材料
2014/08/22 职场文书
立志成才演讲稿
2014/09/04 职场文书
农村党员对照检查材料
2014/09/24 职场文书
重阳节演讲稿:尊敬帮助老人 弘扬传统美德
2014/09/25 职场文书
金融专业银行实习证明模板
2014/11/28 职场文书
前端vue+express实现文件的上传下载示例
2022/02/18 Vue.js