python获取指定网页上所有超链接的方法


Posted in Python onApril 04, 2015

本文实例讲述了python获取指定网页上所有超链接的方法。分享给大家供大家参考。具体如下:

这段python代码通过urllib2抓取网页,然后通过简单的正则表达式分析网页上的全部url地址

import urllib2
import re
#connect to a URL
website = urllib2.urlopen(url)
#read html code
html = website.read()
#use re.findall to get all the links
links = re.findall('"((http|ftp)s?://.*?)"', html)
print links

希望本文所述对大家的python程序设计有所帮助。

Python 相关文章推荐
python 默认参数问题的陷阱
Feb 29 Python
python实现列表中由数值查到索引的方法
Jun 27 Python
使用Python将Mysql的查询数据导出到文件的方法
Feb 25 Python
Python Django 命名空间模式的实现
Aug 09 Python
Django REST Framework之频率限制的使用
Sep 29 Python
使用Python测试Ping主机IP和某端口是否开放的实例
Dec 17 Python
pytorch 实现张量tensor,图片,CPU,GPU,数组等的转换
Jan 13 Python
Python TKinter如何自动关闭主窗口
Feb 26 Python
Pandas读取csv时如何设置列名
Jun 02 Python
如何在python中实现线性回归
Aug 10 Python
Python本地及虚拟解释器配置过程解析
Oct 13 Python
详解Scrapy Redis入门实战
Nov 18 Python
python中字典dict常用操作方法实例总结
Apr 04 #Python
python随机生成指定长度密码的方法
Apr 04 #Python
python统计字符串中指定字符出现次数的方法
Apr 04 #Python
python使用sorted函数对列表进行排序的方法
Apr 04 #Python
python实现的简单猜数字游戏
Apr 04 #Python
python使用BeautifulSoup分页网页中超链接的方法
Apr 04 #Python
python实现分析apache和nginx日志文件并输出访客ip列表的方法
Apr 04 #Python
You might like
PHP安全编程之加密功能
2006/10/09 PHP
php实现将wav文件转换成图像文件并在页面中显示的方法
2015/04/21 PHP
Laravel框架使用Redis的方法详解
2018/05/30 PHP
Laravel框架Eloquent ORM修改数据操作示例
2019/12/03 PHP
Javascript调用XML制作连动下拉列表框
2006/06/25 Javascript
javascript中的括号()用法小结
2014/04/14 Javascript
jQuery移除元素自动解绑事件实现思路及代码
2014/05/31 Javascript
jQuery插件ajaxFileUpload使用详解
2017/01/10 Javascript
详解vue渲染从后台获取的json数据
2017/07/06 Javascript
ReactNative Image组件使用详解
2017/08/07 Javascript
AngularJS 控制器 controller的详解
2017/10/17 Javascript
bootstrap中selectpicker下拉框使用方法实例
2018/03/22 Javascript
Angular5中提取公共组件之radio list的实例代码
2018/07/10 Javascript
Angular angular-file-upload文件上传的示例代码
2018/08/23 Javascript
vue click.stop阻止点击事件继续传播的方法
2018/09/04 Javascript
vue实现微信分享功能
2018/11/28 Javascript
vue 实现根据data中的属性值来设置不同的样式
2020/08/04 Javascript
Python实现把数字转换成中文
2015/06/29 Python
python字符串对其居中显示的方法
2015/07/11 Python
Python使用ntplib库同步校准当地时间的方法
2016/07/02 Python
利用python 更新ssh 远程代码 操作远程服务器的实现代码
2018/02/08 Python
为何人工智能(AI)首选Python?读完这篇文章你就知道了(推荐)
2019/04/06 Python
Django实现whoosh搜索引擎使用jieba分词
2020/04/08 Python
Python改变对象的字符串显示的方法
2020/08/01 Python
用CSS3的box-reflect设置文字倒影效果的方法讲解
2016/03/07 HTML / CSS
美国在线家居装饰店:Belle&June
2018/10/24 全球购物
PHP如何去执行一个SQL语句
2016/03/05 面试题
质检的岗位职责
2013/11/17 职场文书
教师申诉制度
2014/01/29 职场文书
《日月潭》教学反思
2014/02/28 职场文书
植树节口号
2014/06/21 职场文书
群众路线教育实践活动学习笔记内容
2014/11/06 职场文书
公司优秀员工推荐信
2015/03/24 职场文书
2015年计算机教师工作总结
2015/07/22 职场文书
.Net Core导入千万级数据至Mysql的步骤
2021/05/24 MySQL
实战 快速定位MySQL的慢SQL
2022/03/22 MySQL