python获取指定网页上所有超链接的方法


Posted in Python onApril 04, 2015

本文实例讲述了python获取指定网页上所有超链接的方法。分享给大家供大家参考。具体如下:

这段python代码通过urllib2抓取网页,然后通过简单的正则表达式分析网页上的全部url地址

import urllib2
import re
#connect to a URL
website = urllib2.urlopen(url)
#read html code
html = website.read()
#use re.findall to get all the links
links = re.findall('"((http|ftp)s?://.*?)"', html)
print links

希望本文所述对大家的python程序设计有所帮助。

Python 相关文章推荐
Python写的英文字符大小写转换代码示例
Mar 06 Python
python自动格式化json文件的方法
Mar 11 Python
Django Admin实现上传图片校验功能
Mar 06 Python
python中的字典使用分享
Jul 31 Python
Python正则替换字符串函数re.sub用法示例
Jan 19 Python
Python一个简单的通信程序(客户端 服务器)
Mar 06 Python
pandas分区间,算频率的实例
Jul 04 Python
用Python做一个久坐提醒小助手的示例代码
Feb 10 Python
Flask和pyecharts实现动态数据可视化
Feb 26 Python
python实现FTP文件传输的方法(服务器端和客户端)
Mar 20 Python
彻底解决Python包下载慢问题
Nov 15 Python
Python中else的三种使用场景
Jun 16 Python
python中字典dict常用操作方法实例总结
Apr 04 #Python
python随机生成指定长度密码的方法
Apr 04 #Python
python统计字符串中指定字符出现次数的方法
Apr 04 #Python
python使用sorted函数对列表进行排序的方法
Apr 04 #Python
python实现的简单猜数字游戏
Apr 04 #Python
python使用BeautifulSoup分页网页中超链接的方法
Apr 04 #Python
python实现分析apache和nginx日志文件并输出访客ip列表的方法
Apr 04 #Python
You might like
PHP操作mysql函数详解,mysql和php交互函数
2011/05/19 PHP
PHP使用CURL实现对带有验证码的网站进行模拟登录的方法
2014/07/23 PHP
PHP ajax 异步执行不等待执行结果的处理方法
2015/05/27 PHP
php使用函数pathinfo()、parse_url()和basename()解析URL
2016/11/25 PHP
php+mysql开发中的经验与常识小结
2019/03/25 PHP
jQuery中文入门指南,翻译加实例,jQuery的起点教程
2007/01/13 Javascript
二行代码解决全部网页木马
2008/03/28 Javascript
jquery退出each循环的写法
2014/02/26 Javascript
深入解析Backbone.js框架的依赖库Underscore.js的作用
2016/05/07 Javascript
jQuery Dialog对话框事件用法实例分析
2016/05/10 Javascript
javascript之Array 数组对象详解
2016/06/07 Javascript
JS遍历ul下的li点击弹出li的索引的实现方法
2016/09/19 Javascript
JavaScript用JSONP跨域请求数据实例详解
2017/01/06 Javascript
js如何获取访问IP、地区、当前操作浏览器
2019/07/23 Javascript
Vue父组件如何获取子组件中的变量
2019/07/24 Javascript
vue 集成 vis-network 实现网络拓扑图的方法
2019/08/07 Javascript
js实现滚动条自动滚动
2020/12/13 Javascript
python实现发送邮件功能代码
2017/12/14 Python
Python方法的延迟加载的示例代码
2017/12/18 Python
pandas按若干个列的组合条件筛选数据的方法
2018/04/11 Python
python 实现将txt文件多行合并为一行并将中间的空格去掉方法
2018/12/20 Python
对PyQt5中树结构的实现方法详解
2019/06/17 Python
CSS3中的clip-path使用攻略
2015/08/03 HTML / CSS
HTML5 和小程序实现拍照图片旋转、压缩和上传功能
2018/10/08 HTML / CSS
AmazeUI 模态窗口的实现代码
2020/08/18 HTML / CSS
很酷的小工具和电子产品商城:GearBest
2016/11/19 全球购物
什么是smarty? Smarty的优点是什么?
2013/08/11 面试题
《孔子游春》教学反思
2014/02/25 职场文书
《春晓》教学反思
2014/04/20 职场文书
师范生见习报告
2014/10/31 职场文书
交通事故被告答辩状
2015/05/22 职场文书
2016年师德学习心得体会
2016/01/12 职场文书
OpenCV3.3+Python3.6实现图片高斯模糊
2021/05/18 Python
详解Redis在SpringBoot工程中的综合应用
2021/10/16 Redis
Nginx+Tomcat负载均衡多实例详解
2022/04/11 Servers
python解析照片拍摄时间进行图片整理
2022/07/23 Python