python使用BeautifulSoup分页网页中超链接的方法


Posted in Python onApril 04, 2015

本文实例讲述了python使用BeautifulSoup分页网页中超链接的方法。分享给大家供大家参考。具体如下:

python通过BeautifulSoup分页网页中的超级链接,这段python代码输出3water.com主页上所有包含了3water的url链接

from BeautifulSoup import BeautifulSoup
import urllib2
import re
url = urllib2.urlopen("https://3water.com")
content = url.read()
soup = BeautifulSoup(content)
for a in soup.findAll('a',href=True):
  if re.findall('sharejs', a['href']):
    print "Found the URL:", a['href']

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python的lambda匿名函数的简单介绍
Apr 25 Python
python自动格式化json文件的方法
Mar 11 Python
python数据清洗系列之字符串处理详解
Feb 12 Python
python获取命令行输入参数列表的实例代码
Jun 23 Python
python实现括号匹配的思路详解
Aug 23 Python
Python脚本修改阿里云的访问控制列表的方法
Mar 08 Python
Django框架使用内置方法实现登录功能详解
Jun 12 Python
pyqt5 实现 下拉菜单 + 打开文件的示例代码
Jun 20 Python
Django框架模型简单介绍与使用分析
Jul 18 Python
对Django外键关系的描述
Jul 26 Python
python 伯努利分布详解
Feb 25 Python
PyTorch中clone()、detach()及相关扩展详解
Dec 09 Python
python实现分析apache和nginx日志文件并输出访客ip列表的方法
Apr 04 #Python
python使用BeautifulSoup分析网页信息的方法
Apr 04 #Python
python使用webbrowser浏览指定url的方法
Apr 04 #Python
用Python编写一个简单的俄罗斯方块游戏的教程
Apr 03 #Python
用Python代码来绘制彭罗斯点阵的教程
Apr 03 #Python
利用Python演示数型数据结构的教程
Apr 03 #Python
简洁的十分钟Python入门教程
Apr 03 #Python
You might like
PHP调用三种数据库的方法(2)
2006/10/09 PHP
PHP中根据IP地址判断城市实现城市切换或跳转代码
2012/09/04 PHP
PHP 数组和字符串互相转换实现方法
2013/03/26 PHP
ueditor 1.2.6 使用方法说明
2013/07/24 PHP
PHP set_error_handler()函数使用详解(示例)
2013/11/12 PHP
详解PHP中curl_multi并发的实现
2020/06/08 PHP
JObj预览一个JS的框架
2008/03/13 Javascript
JavaScript的面向对象方法以及差别
2008/03/31 Javascript
BOOTSTRAP时间控件显示在模态框下面的bug修复
2015/02/05 Javascript
jQuery+css3动画属性制作猎豹浏览器宽屏banner焦点图
2015/03/16 Javascript
javascript设计模式之对象工厂函数与构造函数详解
2015/07/30 Javascript
原生JS实现美图瀑布流布局赏析
2015/09/07 Javascript
jQuery实现文本框邮箱输入自动补全效果
2015/11/17 Javascript
全面解析Bootstrap手风琴效果
2020/04/17 Javascript
js实现搜索框关键字智能匹配代码
2020/03/26 Javascript
限制文本框只能输入数字||只能是数字和小数点||只能是整数和浮点数
2016/05/27 Javascript
jquery 实现滚动条下拉时无限加载的简单实例
2016/06/01 Javascript
AngularJS服务service用法总结
2016/12/13 Javascript
JavaScript 过滤关键字
2017/03/20 Javascript
ES6新数据结构Map功能与用法示例
2017/03/31 Javascript
基于jQuery实现的Ajax 验证用户名唯一性实例代码
2017/06/28 jQuery
原生JS进行前后端同构
2018/04/22 Javascript
自定义vue组件发布到npm的方法
2018/05/09 Javascript
详解async/await 异步应用的常用场景
2019/05/13 Javascript
[00:35]DOTA2上海特级锦标赛 Newbee战队宣传片
2016/03/03 DOTA
[53:10]2018DOTA2亚洲邀请赛 4.6 淘汰赛 VP vs VG 第一场
2018/04/11 DOTA
Python栈类实例分析
2015/06/15 Python
Python对列表中的各项进行关联详解
2017/08/15 Python
Python一句代码实现找出所有水仙花数的方法
2018/11/13 Python
Python如何创建装饰器时保留函数元信息
2020/08/07 Python
PyCharm 2020.2下配置Anaconda环境的方法步骤
2020/09/23 Python
市场部经理岗位职责
2014/04/10 职场文书
我的中国梦演讲稿800字
2014/08/19 职场文书
先进教育工作者事迹材料
2014/12/23 职场文书
大学生实习推荐信
2015/03/27 职场文书
《我的长生果》教学反思
2016/02/20 职场文书