Python提取网页中超链接的方法


Posted in Python onSeptember 18, 2016

下面是最简单的实现方法,先将目标网页抓回来,然后通过正则匹配a标签中的href属性来获得超链接

代码如下:

import urllib2
import re
 
url = 'http://www.sunbloger.com/'
 
req = urllib2.Request(url)
con = urllib2.urlopen(req)
doc = con.read()
con.close()
 
links = re.findall(r'href\=\"(http\:\/\/[a-zA-Z0-9\.\/]+)\"', doc)
for a in links:
  print a

总结

以上就是这篇文章的全部内容,希望本文的内容对大家的学习或者工作能有所帮助,如果有疑问大家可以留言交流。

Python 相关文章推荐
Python利用matplotlib生成图片背景及图例透明的效果
Apr 27 Python
python爬虫之xpath的基本使用详解
Apr 18 Python
PyQt4实现下拉菜单可供选择并打印出来
Apr 20 Python
IntelliJ IDEA安装运行python插件方法
Dec 10 Python
Python实现的栈、队列、文件目录遍历操作示例
May 06 Python
python中sort和sorted排序的实例方法
Aug 26 Python
基于Python数据分析之pandas统计分析
Mar 03 Python
Python  word实现读取及导出代码解析
Jul 09 Python
一篇文章搞懂python混乱的切换操作与优雅的推导式
Aug 23 Python
基于Python实现射击小游戏的制作
Apr 06 Python
python使用BeautifulSoup 解析HTML
Apr 24 Python
Python matplotlib 利用随机函数生成变化图形
Apr 26 Python
python解决Fedora解压zip时中文乱码的方法
Sep 18 #Python
Python自动化运维和部署项目工具Fabric使用实例
Sep 18 #Python
基于Python 的进程管理工具supervisor使用指南
Sep 18 #Python
打包发布Python模块的方法详解
Sep 18 #Python
在python的类中动态添加属性与生成对象
Sep 17 #Python
Python中字符串的处理技巧分享
Sep 17 #Python
Python中对象迭代与反迭代的技巧总结
Sep 17 #Python
You might like
php 分库分表hash算法
2009/11/12 PHP
php下获取Discuz论坛登录用户名、用户组、用户ID等信息的实现代码
2010/12/29 PHP
ThinkPHP CURD方法之table方法详解
2014/06/18 PHP
分享常见的几种页面静态化的方法
2015/01/08 PHP
php类的定义与继承用法实例
2015/07/07 PHP
PHP whois查询类定义与用法示例
2019/04/03 PHP
基于jquery的禁用右键、文本选择功能、复制按键的实现代码
2013/08/27 Javascript
javascript获得当前的信息的一些常用命令
2015/02/25 Javascript
js中通过getElementsByName访问name集合对象的方法
2016/10/31 Javascript
js实现登录框鼠标拖拽效果
2017/03/09 Javascript
Windows下Node.js安装及环境配置方法
2017/09/18 Javascript
微信小程序wx.navigateTo中events属性实现页面间通信传值,数据同步
2019/07/13 Javascript
构建Vue大型应用的10个最佳实践(小结)
2019/11/07 Javascript
小程序实现图片预览裁剪插件
2019/11/22 Javascript
js实现简单的无缝轮播效果
2020/09/05 Javascript
python3使用pandas获取股票数据的方法
2018/12/22 Python
使用PyQtGraph绘制精美的股票行情K线图的示例代码
2019/03/14 Python
python使用opencv实现马赛克效果示例
2019/09/28 Python
Django多进程滚动日志问题解决方案
2019/12/17 Python
Python configparser模块配置文件过程解析
2020/03/03 Python
python传到前端的数据,双引号被转义的问题
2020/04/03 Python
python speech模块的使用方法
2020/09/09 Python
python 使用tkinter+you-get实现视频下载器
2020/11/17 Python
HTML5通过navigator.mediaDevices.getUserMedia调用手机摄像头问题
2020/04/27 HTML / CSS
Trunki英国官网:儿童坐骑式行李箱
2017/05/30 全球购物
外贸实习生自荐信范文
2013/11/24 职场文书
音乐学个人的自荐书范文
2013/11/26 职场文书
环境科学专业个人求职信
2013/12/15 职场文书
总经理岗位职责范本
2014/02/02 职场文书
小学数学教学反思
2014/02/02 职场文书
大学生作弊检讨书
2014/09/11 职场文书
六年级语文下册教学计划
2015/01/22 职场文书
涪陵白鹤梁导游词
2015/02/09 职场文书
在Windows下安装配置CPU版的PyTorch的方法
2021/04/02 Python
Mysql中的触发器定义及语法介绍
2022/06/25 MySQL
apache虚拟主机配置的三种方式(小结)
2022/07/23 Servers