python使用BeautifulSoup分页网页中超链接的方法


Posted in Python onApril 04, 2015

本文实例讲述了python使用BeautifulSoup分页网页中超链接的方法。分享给大家供大家参考。具体如下:

python通过BeautifulSoup分页网页中的超级链接,这段python代码输出3water.com主页上所有包含了3water的url链接

from BeautifulSoup import BeautifulSoup
import urllib2
import re
url = urllib2.urlopen("https://3water.com")
content = url.read()
soup = BeautifulSoup(content)
for a in soup.findAll('a',href=True):
  if re.findall('sharejs', a['href']):
    print "Found the URL:", a['href']

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
python pdb调试方法分享
Jan 21 Python
Python文件操作类操作实例详解
Jul 11 Python
Python处理JSON时的值报错及编码报错的两则解决实录
Jun 26 Python
Python使用sorted排序的方法小结
Jul 28 Python
python+ffmpeg视频并发直播压力测试
Mar 06 Python
python实时监控cpu小工具
Jun 21 Python
Python3.6使用tesseract-ocr的正确方法
Oct 17 Python
Pandas之Fillna填充缺失数据的方法
Jun 25 Python
Django对数据库进行添加与更新的例子
Jul 12 Python
Flask中endpoint的理解(小结)
Dec 11 Python
Pytorch训练过程出现nan的解决方式
Jan 02 Python
Python递归函数特点及原理解析
Mar 04 Python
python实现分析apache和nginx日志文件并输出访客ip列表的方法
Apr 04 #Python
python使用BeautifulSoup分析网页信息的方法
Apr 04 #Python
python使用webbrowser浏览指定url的方法
Apr 04 #Python
用Python编写一个简单的俄罗斯方块游戏的教程
Apr 03 #Python
用Python代码来绘制彭罗斯点阵的教程
Apr 03 #Python
利用Python演示数型数据结构的教程
Apr 03 #Python
简洁的十分钟Python入门教程
Apr 03 #Python
You might like
zf框架的校验器InArray使用示例
2014/03/13 PHP
php去除数组中重复数据
2014/11/18 PHP
php生成图片验证码-附五种验证码
2015/08/19 PHP
PHP动态生成指定大小随机图片的方法
2016/03/25 PHP
jQuery 表单验证插件formValidation实现个性化错误提示
2009/06/23 Javascript
JQuery的Ajax跨域请求原理概述及实例
2013/04/26 Javascript
javascript读写json示例
2014/04/11 Javascript
js使用removeChild方法动态删除div元素
2014/08/01 Javascript
jQuery右下角旋转环状菜单特效代码
2015/08/10 Javascript
基于HTML模板和JSON数据的JavaScript交互(移动端)
2016/04/06 Javascript
jQuery实现表格文本框淡入更改值后淡出效果
2016/09/27 Javascript
微信小程序 图片边框解决方法
2017/01/16 Javascript
js定时器+简单的动画效果实例
2017/11/10 Javascript
使用js实现将后台传入的json数据放在前台显示
2018/08/06 Javascript
Puppeteer 爬取动态生成的网页实战
2018/11/14 Javascript
VUE搭建手机商城心得和遇到的坑
2019/02/21 Javascript
[08:44]和酒神一起战斗 DOTA2教你做大人
2014/03/27 DOTA
在python的类中动态添加属性与生成对象
2016/09/17 Python
Python基于递归实现电话号码映射功能示例
2018/04/13 Python
Python RabbitMQ消息队列实现rpc
2018/05/30 Python
python 在指定范围内随机生成不重复的n个数实例
2019/01/28 Python
Flask模板引擎之Jinja2语法介绍
2019/06/26 Python
Pandas读取csv时如何设置列名
2020/06/02 Python
django inspectdb 操作已有数据库数据的使用步骤
2021/02/07 Python
美国Randolph太阳镜官网:美国制造的飞行员太阳镜和射击眼镜
2018/06/15 全球购物
英国排名第一的停车场运营商:NCP
2019/08/26 全球购物
成都思必达公司C#程序员招聘面试题
2013/06/26 面试题
建筑文秘专业个人求职信范文
2013/12/28 职场文书
自我鉴定三原则
2014/01/13 职场文书
高一历史教学反思
2014/01/13 职场文书
女生节标语
2014/06/26 职场文书
民主评议党员个人自我评价
2015/03/03 职场文书
党校个人总结
2015/03/04 职场文书
教师求职自荐信
2015/03/26 职场文书
学历证明范文
2015/06/16 职场文书
如何通过cmd 连接阿里云服务器
2022/04/18 Servers