python使用BeautifulSoup分页网页中超链接的方法


Posted in Python onApril 04, 2015

本文实例讲述了python使用BeautifulSoup分页网页中超链接的方法。分享给大家供大家参考。具体如下:

python通过BeautifulSoup分页网页中的超级链接,这段python代码输出3water.com主页上所有包含了3water的url链接

from BeautifulSoup import BeautifulSoup
import urllib2
import re
url = urllib2.urlopen("https://3water.com")
content = url.read()
soup = BeautifulSoup(content)
for a in soup.findAll('a',href=True):
  if re.findall('sharejs', a['href']):
    print "Found the URL:", a['href']

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
python引入导入自定义模块和外部文件的实例
Jul 24 Python
Python之多线程爬虫抓取网页图片的示例代码
Jan 10 Python
Python实现加载及解析properties配置文件的方法
Mar 29 Python
wx.CheckBox创建复选框控件并响应鼠标点击事件
Apr 25 Python
PyCharm设置SSH远程调试的方法
Jul 17 Python
Python3.6中Twisted模块安装的问题与解决
Apr 15 Python
Django的models中on_delete参数详解
Jul 16 Python
利用Python校准本地时间的方法教程
Oct 31 Python
浅谈python 调用open()打开文件时路径出错的原因
Jun 05 Python
Python 获取异常(Exception)信息的几种方法
Dec 29 Python
解决Python import .pyd 可能遇到路径的问题
Mar 04 Python
使用Selenium实现微博爬虫(预登录、展开全文、翻页)
Apr 13 Python
python实现分析apache和nginx日志文件并输出访客ip列表的方法
Apr 04 #Python
python使用BeautifulSoup分析网页信息的方法
Apr 04 #Python
python使用webbrowser浏览指定url的方法
Apr 04 #Python
用Python编写一个简单的俄罗斯方块游戏的教程
Apr 03 #Python
用Python代码来绘制彭罗斯点阵的教程
Apr 03 #Python
利用Python演示数型数据结构的教程
Apr 03 #Python
简洁的十分钟Python入门教程
Apr 03 #Python
You might like
多文件上载系统完整版
2006/10/09 PHP
PHP与MySQL开发的8个技巧小结
2010/12/17 PHP
PHP不用第三变量交换2个变量的值的解决方法
2013/06/02 PHP
PHP多线程编程之管道通信实例分析
2015/03/07 PHP
php使用preg_match()函数验证ip地址的方法
2017/01/07 PHP
微信封装的调用微信签名包的类库
2017/06/08 PHP
PHP中的日期时间处理利器实例(Carbon)
2017/06/09 PHP
Extjs TriggerField在弹出窗口显示不出问题的解决方法
2010/01/08 Javascript
JS:window.onload的使用介绍
2013/11/13 Javascript
javascript将浮点数转换成整数的三个方法
2014/06/23 Javascript
js实现有时间限制消失的图片方法
2015/02/27 Javascript
JavaScript中数据结构与算法(五):经典KMP算法
2015/06/19 Javascript
文字垂直滚动之javascript代码
2015/07/29 Javascript
zepto中使用swipe.js制作轮播图附swipeUp,swipeDown不起效果问题
2015/08/27 Javascript
分分钟玩转Vue.js组件(二)
2017/03/01 Javascript
nodejs连接mysql数据库简单封装示例-mysql模块
2017/04/10 NodeJs
详解AngularJS ui-sref的简单使用
2017/04/24 Javascript
vue.js异步上传文件前后端实现代码
2017/08/22 Javascript
Vue起步(无cli)的啊教程详解
2019/04/11 Javascript
JS实现长图上下滚动效果
2020/03/19 Javascript
vue内置组件component--通过is属性动态渲染组件操作
2020/07/28 Javascript
Vue-cli打包后如何本地查看的操作
2020/09/02 Javascript
JS+CSS实现过渡特效
2021/01/02 Javascript
python访问纯真IP数据库的代码
2011/05/19 Python
python开发之IDEL(Python GUI)的使用方法图文详解
2015/11/12 Python
python构建基础的爬虫教学
2018/12/23 Python
python判断元素是否存在的实例方法
2020/09/24 Python
Django windows使用Apache实现部署流程解析
2020/10/12 Python
Python使用Turtle模块绘制国旗的方法示例
2021/02/28 Python
HTML5本地存储之IndexedDB
2017/06/16 HTML / CSS
银行演讲稿范文
2014/01/03 职场文书
护士演讲稿范文
2014/01/05 职场文书
2014年计算机专业个人自我评价
2014/01/19 职场文书
个人四风问题对照检查材料
2014/09/26 职场文书
JavaScript严格模式不支持八进制的问题讲解
2021/11/07 Javascript
MySQL串行化隔离级别(间隙锁实现)
2022/06/16 MySQL