Python提取网页中超链接的方法


Posted in Python onSeptember 18, 2016

下面是最简单的实现方法,先将目标网页抓回来,然后通过正则匹配a标签中的href属性来获得超链接

代码如下:

import urllib2
import re
 
url = 'http://www.sunbloger.com/'
 
req = urllib2.Request(url)
con = urllib2.urlopen(req)
doc = con.read()
con.close()
 
links = re.findall(r'href\=\"(http\:\/\/[a-zA-Z0-9\.\/]+)\"', doc)
for a in links:
  print a

总结

以上就是这篇文章的全部内容,希望本文的内容对大家的学习或者工作能有所帮助,如果有疑问大家可以留言交流。

Python 相关文章推荐
python网络编程学习笔记(10):webpy框架
Jun 09 Python
使用Python简单的实现树莓派的WEB控制
Feb 18 Python
python 专题九 Mysql数据库编程基础知识
Mar 16 Python
Python中import机制详解
Nov 14 Python
Python中判断子串存在的性能比较及分析总结
Jun 23 Python
python将dict中的unicode打印成中文实例
May 11 Python
Python函数参数定义及传递方式解析
Jun 10 Python
Python3如何实现Win10桌面自动切换
Aug 11 Python
Pycharm添加虚拟解释器报错问题解决方案
Oct 13 Python
Python urllib3软件包的使用说明
Nov 18 Python
举例讲解Python装饰器
Dec 24 Python
pycharm2021激活码使用教程(永久激活亲测可用)
Mar 30 Python
python解决Fedora解压zip时中文乱码的方法
Sep 18 #Python
Python自动化运维和部署项目工具Fabric使用实例
Sep 18 #Python
基于Python 的进程管理工具supervisor使用指南
Sep 18 #Python
打包发布Python模块的方法详解
Sep 18 #Python
在python的类中动态添加属性与生成对象
Sep 17 #Python
Python中字符串的处理技巧分享
Sep 17 #Python
Python中对象迭代与反迭代的技巧总结
Sep 17 #Python
You might like
Banner程序
2006/10/09 PHP
URL Rewrite的设置方法
2007/01/02 PHP
一个简单的网页密码登陆php代码
2012/07/17 PHP
PHP GD库生成图像的几个函数总结
2014/11/19 PHP
PHP批量生成图片缩略图的方法
2015/06/18 PHP
关于laravel 子查询 & join的使用
2019/10/16 PHP
IE与firefox下Dhtml的一些区别小结
2009/12/02 Javascript
JS验证身份证有效性示例
2013/10/11 Javascript
JavaScript中的函数声明和函数表达式区别浅析
2015/03/27 Javascript
JS实现模拟风力的雪花飘落效果
2015/05/13 Javascript
Backbone.js的一些使用技巧
2015/07/01 Javascript
jQuery实现输入框下拉列表树插件特效代码分享
2015/08/27 Javascript
jQuery+JSON实现AJAX二级联动实例分析
2015/12/18 Javascript
Js的Array数组对象详解
2016/02/22 Javascript
基于JS实现移动端访问PC端页面时跳转到对应的移动端网页
2020/12/24 Javascript
jQuery事件的绑定、触发、及监听方法简单说明
2016/05/10 Javascript
如何用JavaScript实现动态修改CSS样式表
2016/05/20 Javascript
BootStrap中
2016/12/10 Javascript
小程序websocket心跳库(websocket-heartbeat-miniprogram)
2020/02/23 Javascript
[02:29]DOTA2英雄基础教程 陈
2013/12/17 DOTA
python实现数据导出到excel的示例--普通格式
2018/05/03 Python
python3中的md5加密实例
2018/05/29 Python
Python Web框架之Django框架文件上传功能详解
2019/08/16 Python
使用python绘制温度变化雷达图
2019/10/18 Python
opencv3/C++图像像素操作详解
2019/12/10 Python
40行Python代码实现天气预报和每日鸡汤推送功能
2020/02/27 Python
Python requests HTTP验证登录实现流程
2020/11/05 Python
英国最大的奢侈品零售网络商城:Flannels
2016/09/16 全球购物
最新结婚典礼主持词
2014/03/14 职场文书
党员一句话承诺大全
2014/03/28 职场文书
物理系毕业生自荐书
2014/06/13 职场文书
个人整改方案范文
2014/10/25 职场文书
法人身份证明书
2015/06/18 职场文书
优秀教师工作总结2015
2015/07/22 职场文书
python 利用 PIL 将数组值转成图片的实现
2021/04/12 Python
关于Python OS模块常用文件/目录函数详解
2021/07/01 Python