python使用BeautifulSoup分页网页中超链接的方法


Posted in Python onApril 04, 2015

本文实例讲述了python使用BeautifulSoup分页网页中超链接的方法。分享给大家供大家参考。具体如下:

python通过BeautifulSoup分页网页中的超级链接,这段python代码输出3water.com主页上所有包含了3water的url链接

from BeautifulSoup import BeautifulSoup
import urllib2
import re
url = urllib2.urlopen("https://3water.com")
content = url.read()
soup = BeautifulSoup(content)
for a in soup.findAll('a',href=True):
  if re.findall('sharejs', a['href']):
    print "Found the URL:", a['href']

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python ZipFile模块详解
Nov 01 Python
python列表操作之extend和append的区别实例分析
Jul 28 Python
Python判断变量是否为Json格式的字符串示例
May 03 Python
python顺序的读取文件夹下名称有序的文件方法
Jul 11 Python
详解Numpy数组转置的三种方法T、transpose、swapaxes
May 27 Python
使用python实现希尔、计数、基数基础排序的代码
Dec 25 Python
Scrapy框架基本命令与settings.py设置
Feb 06 Python
tensorflow模型的save与restore,及checkpoint中读取变量方式
May 26 Python
python字典按照value排序方法
Dec 28 Python
解决TensorFlow训练模型及保存数量限制的问题
Mar 03 Python
详解Python+OpenCV绘制灰度直方图
Mar 22 Python
使用python绘制分组对比柱状图
Apr 21 Python
python实现分析apache和nginx日志文件并输出访客ip列表的方法
Apr 04 #Python
python使用BeautifulSoup分析网页信息的方法
Apr 04 #Python
python使用webbrowser浏览指定url的方法
Apr 04 #Python
用Python编写一个简单的俄罗斯方块游戏的教程
Apr 03 #Python
用Python代码来绘制彭罗斯点阵的教程
Apr 03 #Python
利用Python演示数型数据结构的教程
Apr 03 #Python
简洁的十分钟Python入门教程
Apr 03 #Python
You might like
漂亮但不安全的CTB
2006/10/09 PHP
通过php删除xml文档内容的方法
2015/01/23 PHP
php实现根据词频生成tag云的方法
2015/04/17 PHP
laravel 查询数据库获取结果实现判断是否为空
2019/10/24 PHP
jquery 得到当前页面高度和宽度的两个函数
2010/02/21 Javascript
js使用循环清空某个div中的input标签值
2014/09/29 Javascript
Javascript常用字符串判断函数代码分享
2014/12/08 Javascript
分析js闭包引起的事件注册问题
2016/03/29 Javascript
JavaScript实现页面定时刷新(定时器,meta)
2016/10/12 Javascript
JS日期对象简单操作(获取当前年份、星期、时间)
2016/10/26 Javascript
详解angularJs指令的3种绑定策略
2017/04/13 Javascript
脚手架vue-cli工程webpack的作用和特点
2018/09/29 Javascript
JS中使用cavas截图网页并解决跨域及模糊问题
2018/11/13 Javascript
详解VUE单页应用骨架屏方案
2019/01/17 Javascript
10种JavaScript最常见的错误(小结)
2019/06/21 Javascript
vue限制输入框只能输入8位整数和2位小数的代码
2019/11/06 Javascript
vue中组件通信详解(父子组件, 爷孙组件, 兄弟组件)
2020/07/27 Javascript
如何在vue-cli中使用css-loader实现css module
2021/01/07 Vue.js
Python list操作用法总结
2015/11/10 Python
浅谈编码,解码,乱码的问题
2016/12/30 Python
一张图带我们入门Python基础教程
2017/02/05 Python
Python简单生成随机姓名的方法示例
2017/12/27 Python
Python元字符的用法实例解析
2018/01/17 Python
python实现比较类的两个instance(对象)是否相等的方法分析
2019/06/26 Python
windows、linux下打包Python3程序详细方法
2020/03/17 Python
Python爬取12306车次信息代码详解
2020/08/12 Python
详解HTML5 data-* 自定义属性
2018/01/24 HTML / CSS
HTML5 3D旋转相册的实现示例
2019/12/03 HTML / CSS
介绍一下代理模式(Proxy)
2014/10/17 面试题
团委书记的竞聘演讲稿
2014/04/24 职场文书
让生命充满爱演讲稿
2014/05/10 职场文书
煤矿开采专业求职信
2014/07/08 职场文书
党员个人对照检查材料
2014/10/01 职场文书
医院办公室主任岗位职责
2015/04/01 职场文书
2019财务毕业实习报告
2019/06/27 职场文书
面试分析分布式架构Redis热点key大Value解决方案
2022/03/13 Redis