python获取指定网页上所有超链接的方法


Posted in Python onApril 04, 2015

本文实例讲述了python获取指定网页上所有超链接的方法。分享给大家供大家参考。具体如下:

这段python代码通过urllib2抓取网页,然后通过简单的正则表达式分析网页上的全部url地址

import urllib2
import re
#connect to a URL
website = urllib2.urlopen(url)
#read html code
html = website.read()
#use re.findall to get all the links
links = re.findall('"((http|ftp)s?://.*?)"', html)
print links

希望本文所述对大家的python程序设计有所帮助。

Python 相关文章推荐
python实现从一组颜色中找出与给定颜色最接近颜色的方法
Mar 19 Python
Python list操作用法总结
Nov 10 Python
Python HTTP客户端自定义Cookie实现实例
Apr 28 Python
通过python顺序修改文件名字的方法
Jul 11 Python
python 实现批量xls文件转csv文件的方法
Oct 23 Python
基于wxPython的GUI实现输入对话框(1)
Feb 27 Python
Python如何爬取微信公众号文章和评论(基于 Fiddler 抓包分析)
Jun 28 Python
python使用 __init__初始化操作简单示例
Sep 26 Python
python pyenv多版本管理工具的使用
Dec 23 Python
Python 读取位于包中的数据文件
Aug 07 Python
Python 程序员必须掌握的日志记录
Aug 17 Python
Python超简单容易上手的画图工具库推荐
May 10 Python
python中字典dict常用操作方法实例总结
Apr 04 #Python
python随机生成指定长度密码的方法
Apr 04 #Python
python统计字符串中指定字符出现次数的方法
Apr 04 #Python
python使用sorted函数对列表进行排序的方法
Apr 04 #Python
python实现的简单猜数字游戏
Apr 04 #Python
python使用BeautifulSoup分页网页中超链接的方法
Apr 04 #Python
python实现分析apache和nginx日志文件并输出访客ip列表的方法
Apr 04 #Python
You might like
php SQL Injection with MySQL
2011/02/27 PHP
PHP递归调用的小技巧讲解
2013/02/19 PHP
关于PHP session 存储方式的详细介绍
2013/06/25 PHP
php中url传递中文字符,特殊危险字符的解决方法
2013/08/17 PHP
symfony2.4的twig中date用法分析
2016/03/18 PHP
php无法连接mysql数据库的正确解决方法
2016/07/01 PHP
Zend Framework教程之Zend_Helpers动作助手ViewRenderer用法详解
2016/07/20 PHP
PHP实现导出带样式的Excel
2016/08/28 PHP
javascript中的onkeyup和onkeydown区别介绍
2013/04/28 Javascript
JS特殊函数(Function()构造函数、函数直接量)区别介绍
2013/05/19 Javascript
浅析XMLHttpRequest的缓存问题
2013/12/13 Javascript
js 与 php 通过json数据进行通讯示例
2014/03/26 Javascript
javascript简单实现等比例缩小图片的方法
2016/07/27 Javascript
javascript基础知识讲解
2017/01/11 Javascript
jquery实现刷新随机变化样式特效(tag标签样式)
2017/02/03 Javascript
JS对象深度克隆实例分析
2017/03/16 Javascript
nodejs入门教程六:express模块用法示例
2017/04/24 NodeJs
js作用域和作用域链及预解析
2019/04/11 Javascript
JS算法题之查找数字在数组中的索引位置
2019/05/15 Javascript
深入理解Python 关于supper 的 用法和原理
2018/02/28 Python
python和flask中返回JSON数据的方法
2018/03/26 Python
python实现音乐下载的统计
2018/06/20 Python
Django 外键的使用方法详解
2019/07/19 Python
python中绕过反爬虫的方法总结
2020/11/25 Python
python空元组在all中返回结果详解
2020/12/15 Python
德国健康生活方式网上商店:Landkaufhaus Mayer
2019/03/12 全球购物
以设计师精品品质提供快速时尚:Mostata
2019/05/10 全球购物
建筑个人求职信范文
2014/01/25 职场文书
2015年元旦文艺汇演主持词
2014/03/26 职场文书
优秀学生干部个人事迹材料
2014/06/02 职场文书
节约用水的口号
2014/06/20 职场文书
入党积极分子批评与自我批评思想汇报
2014/09/14 职场文书
2014年学校总务处工作总结
2014/12/08 职场文书
计算机考试作弊检讨书1000字
2015/01/01 职场文书
2016寒假社会实践心得体会范文
2015/10/09 职场文书
linux目录管理方法介绍
2022/06/01 Servers