python获取指定网页上所有超链接的方法


Posted in Python onApril 04, 2015

本文实例讲述了python获取指定网页上所有超链接的方法。分享给大家供大家参考。具体如下:

这段python代码通过urllib2抓取网页,然后通过简单的正则表达式分析网页上的全部url地址

import urllib2
import re
#connect to a URL
website = urllib2.urlopen(url)
#read html code
html = website.read()
#use re.findall to get all the links
links = re.findall('"((http|ftp)s?://.*?)"', html)
print links

希望本文所述对大家的python程序设计有所帮助。

Python 相关文章推荐
python异步任务队列示例
Apr 01 Python
Python只用40行代码编写的计算器实例
May 10 Python
详解Python里使用正则表达式的ASCII模式
Nov 02 Python
python批量爬取下载抖音视频
Jun 17 Python
对PyQt5中的菜单栏和工具栏实例详解
Jun 20 Python
用python写一个定时提醒程序的实现代码
Jul 22 Python
python脚本之一键移动自定格式文件方法实例
Sep 02 Python
Python中import导入不同目录的模块方法详解
Feb 18 Python
Python编程快速上手——疯狂填词程序实现方法分析
Feb 29 Python
python3用urllib抓取贴吧邮箱和QQ实例
Mar 10 Python
Python模拟登录和登录跳转的参考示例
Oct 30 Python
解决pycharm修改代码后第一次运行不生效的问题
Feb 06 Python
python中字典dict常用操作方法实例总结
Apr 04 #Python
python随机生成指定长度密码的方法
Apr 04 #Python
python统计字符串中指定字符出现次数的方法
Apr 04 #Python
python使用sorted函数对列表进行排序的方法
Apr 04 #Python
python实现的简单猜数字游戏
Apr 04 #Python
python使用BeautifulSoup分页网页中超链接的方法
Apr 04 #Python
python实现分析apache和nginx日志文件并输出访客ip列表的方法
Apr 04 #Python
You might like
PHP个人网站架设连环讲(一)
2006/10/09 PHP
PHP屏蔽蜘蛛访问代码及常用搜索引擎的HTTP_USER_AGENT
2013/03/06 PHP
php使用递归计算文件夹大小
2014/12/24 PHP
jQuery插件-jRating评分插件源码分析及使用方法
2012/12/28 Javascript
js数组Array sort方法使用深入分析
2013/02/21 Javascript
在浏览器中实现图片粘贴的jQuery插件-- pasteimg使用指南
2014/12/29 Javascript
javascript等号运算符使用详解
2015/04/16 Javascript
javascript如何实现暂停功能
2015/11/06 Javascript
实例讲解Jquery中隐藏hide、显示show、切换toggle的用法
2016/05/13 Javascript
js代码实现下拉菜单【推荐】
2016/12/15 Javascript
BootStrap表单控件之文本域textarea
2017/05/23 Javascript
利用node.js实现反向代理的方法详解
2017/07/24 Javascript
jquery引入外部CDN 加载失败则引入本地jq库
2018/05/23 jQuery
vue左右侧联动滚动的实现代码
2018/06/06 Javascript
vue2.0 下拉框默认标题设置方法
2018/08/22 Javascript
Vue2.2.0+新特性整理及注意事项
2018/08/22 Javascript
微信小程序左右滚动公告栏效果代码实例
2019/09/16 Javascript
[02:35]DOTA2英雄基础教程 末日使者
2013/12/04 DOTA
[01:02:53]DOTA2上海特级锦标赛主赛事日 - 5 总决赛Liquid VS Secret第二局
2016/03/06 DOTA
python的几种开发工具介绍
2007/03/07 Python
python多线程扫描端口示例
2014/01/16 Python
在Python中使用pngquant压缩png图片的教程
2015/04/09 Python
python实现class对象转换成json/字典的方法
2016/03/11 Python
解决Shell执行python文件,传参空格引起的问题
2018/10/30 Python
浅谈python的dataframe与series的创建方法
2018/11/12 Python
Python读取Pickle文件信息并计算与当前时间间隔的方法分析
2019/01/30 Python
Python获取时间戳代码实例
2019/09/24 Python
python 获取剪切板内容的两种方法
2020/11/28 Python
新英格兰最大的特色礼品连锁店:The Paper Store
2018/07/23 全球购物
自我鉴定思想方面
2013/10/07 职场文书
教师读书活动总结
2014/05/07 职场文书
5s标语大全
2014/06/23 职场文书
迎新生欢迎词
2015/01/23 职场文书
2015年领导干部廉洁自律工作总结
2015/05/26 职场文书
2015年度招聘工作总结
2015/05/28 职场文书
计算机教师工作总结
2015/08/13 职场文书