Python提取网页中超链接的方法


Posted in Python onSeptember 18, 2016

下面是最简单的实现方法,先将目标网页抓回来,然后通过正则匹配a标签中的href属性来获得超链接

代码如下:

import urllib2
import re
 
url = 'http://www.sunbloger.com/'
 
req = urllib2.Request(url)
con = urllib2.urlopen(req)
doc = con.read()
con.close()
 
links = re.findall(r'href\=\"(http\:\/\/[a-zA-Z0-9\.\/]+)\"', doc)
for a in links:
  print a

总结

以上就是这篇文章的全部内容,希望本文的内容对大家的学习或者工作能有所帮助,如果有疑问大家可以留言交流。

Python 相关文章推荐
在Python中使用HTMLParser解析HTML的教程
Apr 29 Python
详解C++编程中一元运算符的重载
Jan 19 Python
Python学习思维导图(必看篇)
Jun 26 Python
Python实现查看系统启动项功能示例
May 10 Python
python 重定向获取真实url的方法
May 11 Python
对python 操作solr索引数据的实例详解
Dec 07 Python
python3中rank函数的用法
Nov 27 Python
Python socket处理client连接过程解析
Mar 18 Python
学习Python需要哪些工具
Sep 04 Python
解决pip安装的第三方包在PyCharm无法导入的问题
Oct 15 Python
python和opencv构建运动检测器的实现
Mar 03 Python
Python中的 Set 与 dict
Mar 13 Python
python解决Fedora解压zip时中文乱码的方法
Sep 18 #Python
Python自动化运维和部署项目工具Fabric使用实例
Sep 18 #Python
基于Python 的进程管理工具supervisor使用指南
Sep 18 #Python
打包发布Python模块的方法详解
Sep 18 #Python
在python的类中动态添加属性与生成对象
Sep 17 #Python
Python中字符串的处理技巧分享
Sep 17 #Python
Python中对象迭代与反迭代的技巧总结
Sep 17 #Python
You might like
天津市收音机工业发展史
2021/03/04 无线电
PHP经典的给图片加水印程序
2006/12/06 PHP
用php过滤危险html代码的函数
2008/07/22 PHP
php将字符串转换成16进制的方法
2015/03/17 PHP
PHP中array_keys和array_unique函数源码的分析
2016/02/26 PHP
Javascript里使用Dom操作Xml
2007/01/22 Javascript
关于firefox的ElementTraversal 接口 使用说明
2010/11/11 Javascript
jQuery操作select的实例代码
2012/06/14 Javascript
javascript之typeof、instanceof操作符使用探讨
2013/05/19 Javascript
Jquery遍历节点的方法小集
2014/01/22 Javascript
js获取字符串最后一位方法汇总
2014/11/13 Javascript
js console.log打印对像与数组用法详解
2016/01/21 Javascript
温习Javascript基础语法之词法结构
2016/05/31 Javascript
JavaScript和jQuery获取input框的绝对位置实现方法
2016/10/13 Javascript
JavaScript 栈的详解及实例代码
2017/01/22 Javascript
bootstrap实现点击删除按钮弹出确认框的实例代码
2018/08/16 Javascript
Vuex 单状态库与多模块状态库详解
2018/12/11 Javascript
Vue框架TypeScript装饰器使用指南小结
2019/02/18 Javascript
vue封装swiper代码实例解析
2019/10/08 Javascript
关于小程序优化的一些建议(小结)
2020/12/10 Javascript
[03:48]2014DOTA2 TI专访71DK夺冠不靠小组赛高排名
2014/07/11 DOTA
Python单链表的简单实现方法
2014/09/23 Python
python连接oracle数据库实例
2014/10/17 Python
python模拟鼠标拖动操作的方法
2015/03/11 Python
python使用两种发邮件的方式smtp和outlook示例
2017/06/02 Python
selenium 安装与chromedriver安装的方法步骤
2019/06/12 Python
python def 定义函数,调用函数方式
2020/06/02 Python
python实现简易版学生成绩管理系统
2020/06/22 Python
世界上最好的旅行夹克:BauBax
2018/12/23 全球购物
网络工程师的自我评价
2013/10/02 职场文书
护士专业推荐信
2013/11/02 职场文书
小学运动会表扬稿
2014/01/19 职场文书
贷款委托书
2014/08/01 职场文书
就业协议书范本
2014/10/08 职场文书
win10双系统怎么删除一个系统?win10电脑有两个系统删除一个的操作方法
2022/07/15 数码科技
Linux在两个服务器直接传文件的操作方法
2022/08/05 Servers