python使用BeautifulSoup分页网页中超链接的方法


Posted in Python onApril 04, 2015

本文实例讲述了python使用BeautifulSoup分页网页中超链接的方法。分享给大家供大家参考。具体如下:

python通过BeautifulSoup分页网页中的超级链接,这段python代码输出3water.com主页上所有包含了3water的url链接

from BeautifulSoup import BeautifulSoup
import urllib2
import re
url = urllib2.urlopen("https://3water.com")
content = url.read()
soup = BeautifulSoup(content)
for a in soup.findAll('a',href=True):
  if re.findall('sharejs', a['href']):
    print "Found the URL:", a['href']

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
python字典get()方法用法分析
Apr 17 Python
Python使用正则表达式实现文本替换的方法
Apr 18 Python
python实现k-means聚类算法
Feb 23 Python
Python类的继承用法示例
Jan 31 Python
Python中拆分字符串的操作方法
Jul 23 Python
python3实现高效的端口扫描
Aug 31 Python
python实现的接收邮件功能示例【基于网易POP3服务器】
Sep 11 Python
opencv python图像梯度实例详解
Feb 04 Python
解决python父线程关闭后子线程不关闭问题
Apr 25 Python
Python可以实现栈的结构吗
May 27 Python
详解Python直接赋值,深拷贝和浅拷贝
Jul 09 Python
python 线程的五个状态
Sep 22 Python
python实现分析apache和nginx日志文件并输出访客ip列表的方法
Apr 04 #Python
python使用BeautifulSoup分析网页信息的方法
Apr 04 #Python
python使用webbrowser浏览指定url的方法
Apr 04 #Python
用Python编写一个简单的俄罗斯方块游戏的教程
Apr 03 #Python
用Python代码来绘制彭罗斯点阵的教程
Apr 03 #Python
利用Python演示数型数据结构的教程
Apr 03 #Python
简洁的十分钟Python入门教程
Apr 03 #Python
You might like
ADODB类使用
2006/11/25 PHP
PHP file_get_contents设置超时处理方法
2013/09/30 PHP
php导入csv文件碰到乱码问题的解决方法
2014/02/10 PHP
php使用parse_str实现查询字符串解析到变量中的方法
2017/02/17 PHP
详解PHP中的8个魔术常量
2020/07/06 PHP
在JavaScript中获取请求的URL参数[正则]
2010/12/25 Javascript
一个简单的js树形菜单
2011/12/09 Javascript
使用jQuery jqPlot插件绘制柱状图
2014/12/18 Javascript
自定义函数实现IE7与IE8不兼容js中trim函数的问题
2015/02/03 Javascript
JavaScript中的函数(二)
2015/12/23 Javascript
Node.js的文件权限及读写flag详解
2016/10/11 Javascript
浅析vue-router jquery和params传参(接收参数)$router $route的区别
2018/08/03 jQuery
又拍云 Node.js 实现文件上传、删除功能
2018/10/28 Javascript
微信小程序 动态修改页面数据及参数传递过程详解
2019/09/27 Javascript
在Vue mounted方法中使用data变量详解
2019/11/05 Javascript
Openlayers实现地图的基本操作
2020/09/28 Javascript
PHP 502bad gateway原因及解决方案
2020/11/13 Javascript
解决vue elementUI 使用el-select 时 change事件的触发问题
2020/11/17 Vue.js
教你如何将 Sublime 3 打造成 Python/Django IDE开发利器
2014/07/04 Python
Python入门篇之列表和元组
2014/10/17 Python
python使用正则表达式提取网页URL的方法
2015/05/26 Python
Windows下实现Python2和Python3两个版共存的方法
2015/06/12 Python
python 统计代码行数简单实例
2017/05/04 Python
用tensorflow构建线性回归模型的示例代码
2018/03/05 Python
对Python中type打开文件的方式介绍
2018/04/28 Python
Mac下Anaconda的安装和使用教程
2018/11/29 Python
python开头的coding设置方法
2019/08/08 Python
Python获取当前脚本文件夹(Script)的绝对路径方法代码
2019/08/27 Python
深入探究HTML5的History API
2015/07/09 HTML / CSS
小学教师的个人自我鉴定
2013/10/26 职场文书
运动会解说词200字
2014/02/06 职场文书
公司周年庆典标语
2014/10/07 职场文书
四风查摆问题自查报告
2014/10/10 职场文书
暂住证明怎么写
2015/06/19 职场文书
庆祝教师节主持词
2015/07/06 职场文书
Oracle以逗号分隔的字符串拆分为多行数据实例详解
2021/07/16 Oracle