python使用BeautifulSoup分页网页中超链接的方法


Posted in Python onApril 04, 2015

本文实例讲述了python使用BeautifulSoup分页网页中超链接的方法。分享给大家供大家参考。具体如下:

python通过BeautifulSoup分页网页中的超级链接,这段python代码输出3water.com主页上所有包含了3water的url链接

from BeautifulSoup import BeautifulSoup
import urllib2
import re
url = urllib2.urlopen("https://3water.com")
content = url.read()
soup = BeautifulSoup(content)
for a in soup.findAll('a',href=True):
  if re.findall('sharejs', a['href']):
    print "Found the URL:", a['href']

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
使用Python发送邮件附件以定时备份MySQL的教程
Apr 25 Python
python数字图像处理之高级形态学处理
Apr 27 Python
Python爬虫实现抓取京东店铺信息及下载图片功能示例
Aug 07 Python
Python列表删除元素del、pop()和remove()的区别小结
Sep 11 Python
python paramiko远程服务器终端操作过程解析
Dec 14 Python
python3连接MySQL8.0的两种方式
Feb 17 Python
简单了解django处理跨域请求最佳解决方案
Mar 25 Python
使用python修改文件并立即写回到原始位置操作(inplace读写)
Jun 28 Python
详细分析Python垃圾回收机制
Jul 01 Python
Python如何读写二进制数组数据
Aug 01 Python
pytho matplotlib工具栏源码探析一之禁用工具栏、默认工具栏和工具栏管理器三种模式的差异
Feb 25 Python
利用python实时刷新基金估值(摸鱼小工具)
Sep 15 Python
python实现分析apache和nginx日志文件并输出访客ip列表的方法
Apr 04 #Python
python使用BeautifulSoup分析网页信息的方法
Apr 04 #Python
python使用webbrowser浏览指定url的方法
Apr 04 #Python
用Python编写一个简单的俄罗斯方块游戏的教程
Apr 03 #Python
用Python代码来绘制彭罗斯点阵的教程
Apr 03 #Python
利用Python演示数型数据结构的教程
Apr 03 #Python
简洁的十分钟Python入门教程
Apr 03 #Python
You might like
php error_log 函数的使用
2009/04/13 PHP
鸡肋的PHP单例模式应用详解
2013/06/03 PHP
分享下页面关键字抓取www.icbase.com站点代码(带asp.net参数的)
2014/01/30 PHP
javascript中对对层的控制
2006/12/29 Javascript
iframe 自适应高度[在IE6 IE7 FF下测试通过]
2009/04/13 Javascript
基于pthread_create,readlink,getpid等函数的学习与总结
2013/07/17 Javascript
JavaScript实现在数组中查找不同顺序排列的字符串
2014/09/26 Javascript
javascript获取本机操作系统类型的方法
2015/08/13 Javascript
JavaScript人脸识别技术及脸部识别JavaScript类库Tracking.js
2015/09/14 Javascript
ES6中的数组扩展方法
2016/08/26 Javascript
微信小程序 picker 组件详解及简单实例
2017/01/10 Javascript
JS在浏览器中解析Base64编码图像
2017/02/09 Javascript
react-redux中connect()方法详细解析
2017/05/27 Javascript
nodeJS模块简单用法示例
2018/04/21 NodeJs
微信小程序将字符串生成二维码图片的操作方法
2018/07/17 Javascript
详解vuex中action何时完成以及如何正确调用dispatch的思考
2019/01/21 Javascript
Node.js一行代码实现静态文件服务器的方法步骤
2019/05/07 Javascript
vue组件库的在线主题编辑器的实现思路
2020/04/03 Javascript
js实现上传按钮并显示缩略图小轮子
2020/05/04 Javascript
django通过ajax发起请求返回JSON格式数据的方法
2015/06/04 Python
TensorFlow中权重的随机初始化的方法
2018/02/11 Python
Pyspider中给爬虫伪造随机请求头的实例
2018/05/07 Python
用Python3创建httpServer的简单方法
2018/06/04 Python
Python利用逻辑回归模型解决MNIST手写数字识别问题详解
2020/01/14 Python
解决Python logging模块无法正常输出日志的问题
2020/02/21 Python
opencv+python实现鼠标点击图像,输出该点的RGB和HSV值
2020/06/02 Python
python打包生成so文件的实现
2020/10/30 Python
美国卡车、吉普车和SUV零件网站:4 Wheel Parts
2016/11/24 全球购物
本科毕业生自我鉴定
2013/11/02 职场文书
初婚未育未抱养证明
2014/01/12 职场文书
学校门卫管理制度
2014/01/30 职场文书
绩效管理实施方案
2014/03/19 职场文书
实习单位评语
2014/04/26 职场文书
支行行长竞聘报告
2014/11/06 职场文书
孔繁森观后感
2015/06/10 职场文书
一篇文章告诉你如何实现Vue前端分页和后端分页
2022/02/18 Vue.js