python获取指定网页上所有超链接的方法


Posted in Python onApril 04, 2015

本文实例讲述了python获取指定网页上所有超链接的方法。分享给大家供大家参考。具体如下:

这段python代码通过urllib2抓取网页,然后通过简单的正则表达式分析网页上的全部url地址

import urllib2
import re
#connect to a URL
website = urllib2.urlopen(url)
#read html code
html = website.read()
#use re.findall to get all the links
links = re.findall('"((http|ftp)s?://.*?)"', html)
print links

希望本文所述对大家的python程序设计有所帮助。

Python 相关文章推荐
在Heroku云平台上部署Python的Django框架的教程
Apr 20 Python
Python使用cx_Oracle模块将oracle中数据导出到csv文件的方法
May 16 Python
python实现识别相似图片小结
Feb 22 Python
解决Tensorflow安装成功,但在导入时报错的问题
Jun 13 Python
解决pycharm安装后代码区不能编辑的问题
Oct 28 Python
Python中logging实例讲解
Jan 17 Python
详解Python的循环结构知识点
May 20 Python
Django如何使用第三方服务发送电子邮件
Aug 14 Python
Python操作redis和mongoDB的方法
Dec 19 Python
Python 实现向word(docx)中输出
Feb 13 Python
Python 统计位数为偶数的数字代码详解
Mar 15 Python
python实现简单遗传算法
Sep 18 Python
python中字典dict常用操作方法实例总结
Apr 04 #Python
python随机生成指定长度密码的方法
Apr 04 #Python
python统计字符串中指定字符出现次数的方法
Apr 04 #Python
python使用sorted函数对列表进行排序的方法
Apr 04 #Python
python实现的简单猜数字游戏
Apr 04 #Python
python使用BeautifulSoup分页网页中超链接的方法
Apr 04 #Python
python实现分析apache和nginx日志文件并输出访客ip列表的方法
Apr 04 #Python
You might like
让你的WINDOWS同时支持MYSQL4,MYSQL4.1,MYSQL5X
2006/12/06 PHP
php中批量删除Mysql中相同前缀的数据表的代码
2011/07/01 PHP
PHP单例模式是什么 php实现单例模式的方法
2016/05/14 PHP
php验证身份证号码正确性的函数
2016/07/20 PHP
PHP一致性hash分布式算法封装类定义与用法示例
2018/08/04 PHP
php封装实现钉钉机器人报警接口的示例代码
2020/08/08 PHP
IE6,IE7下js动态加载图片不显示错误
2010/07/17 Javascript
JS Jquery 遍历,筛选页面元素 自动完成(实现代码)
2013/07/08 Javascript
js取两个数组的交集|差集|并集|补集|去重示例代码
2013/08/07 Javascript
JQuery打造省市下拉框联动效果
2014/05/18 Javascript
一个不错的仿携程自定义数据下拉选择select
2014/09/01 Javascript
jQuery实现点击该行即可删除HTML表格行
2014/10/17 Javascript
nodejs 整合kindEditor实现图片上传
2015/02/03 NodeJs
javascript编写贪吃蛇游戏
2015/07/07 Javascript
js实现(全选)多选按钮的方法【附实例】
2016/03/30 Javascript
javascript事件处理模型实例说明
2016/05/31 Javascript
Javascript使用SWFUpload进行多文件上传
2016/11/16 Javascript
JavaScript中的toString()和toLocaleString()方法的区别
2017/02/15 Javascript
Angular2+国际化方案(ngx-translate)的示例代码
2017/08/23 Javascript
nodejs结合socket.io实现websocket通信功能的方法
2018/01/12 NodeJs
SSM+layUI 根据登录信息显示不同的页面方法
2019/09/20 Javascript
vue实现文件上传读取及下载功能
2020/11/17 Javascript
[03:02]安得倚天剑,跨海斩长鲸——中国军团出征DOTA2国际邀请赛
2018/08/14 DOTA
Python通过命令开启http.server服务器的方法
2017/11/04 Python
python爬虫URL重试机制的实现方法(python2.7以及python3.5)
2018/12/18 Python
用python给csv里的数据排序的具体代码
2020/07/17 Python
python 实现IP子网计算
2021/02/18 Python
CSS3中的content属性使用示例
2015/07/20 HTML / CSS
生物化工专业个人自荐信
2013/09/26 职场文书
检讨书怎么写
2015/01/23 职场文书
寒假安全保证书
2015/02/28 职场文书
2015社区六五普法工作总结
2015/04/21 职场文书
纪检监察立案决定书
2015/06/24 职场文书
浅谈JS的原型和原型链
2021/06/04 Javascript
Python 多线程处理任务实例
2021/11/07 Python
JVM之方法返回地址详解
2022/02/28 Java/Android