Python提取网页中超链接的方法


Posted in Python onSeptember 18, 2016

下面是最简单的实现方法,先将目标网页抓回来,然后通过正则匹配a标签中的href属性来获得超链接

代码如下:

import urllib2
import re
 
url = 'http://www.sunbloger.com/'
 
req = urllib2.Request(url)
con = urllib2.urlopen(req)
doc = con.read()
con.close()
 
links = re.findall(r'href\=\"(http\:\/\/[a-zA-Z0-9\.\/]+)\"', doc)
for a in links:
  print a

总结

以上就是这篇文章的全部内容,希望本文的内容对大家的学习或者工作能有所帮助,如果有疑问大家可以留言交流。

Python 相关文章推荐
跟老齐学Python之大话题小函数(2)
Oct 10 Python
Python比较文件夹比另一同名文件夹多出的文件并复制出来的方法
Mar 05 Python
简单谈谈Python中的json与pickle
Jul 19 Python
python实现壁纸批量下载代码实例
Jan 25 Python
PyQt5每天必学之关闭窗口
Apr 19 Python
Scrapy框架爬取Boss直聘网Python职位信息的源码
Feb 22 Python
python如何给字典的键对应的值为字典项的字典赋值
Jul 05 Python
如何通过50行Python代码获取公众号全部文章
Jul 12 Python
python中with语句结合上下文管理器操作详解
Dec 19 Python
python GUI库图形界面开发之PyQt5窗口布局控件QStackedWidget详细使用方法
Feb 27 Python
解决Python安装cryptography报错问题
Sep 03 Python
pycharm激活方法到2099年(激活流程)
Sep 22 Python
python解决Fedora解压zip时中文乱码的方法
Sep 18 #Python
Python自动化运维和部署项目工具Fabric使用实例
Sep 18 #Python
基于Python 的进程管理工具supervisor使用指南
Sep 18 #Python
打包发布Python模块的方法详解
Sep 18 #Python
在python的类中动态添加属性与生成对象
Sep 17 #Python
Python中字符串的处理技巧分享
Sep 17 #Python
Python中对象迭代与反迭代的技巧总结
Sep 17 #Python
You might like
我用php+mysql写的留言本
2006/10/09 PHP
Apache, PHP在Windows 9x/NT下的安装与配置 (一)
2006/10/09 PHP
主流PHP框架的优缺点对比分析
2014/12/25 PHP
PHP 中提示undefined index如何解决(多种方法)
2016/03/16 PHP
在 PHP 和 Laravel 中使用 Traits的方法
2019/11/13 PHP
PHP+ajax实现上传、删除、修改单张图片及后台处理逻辑操作详解
2020/02/12 PHP
保证JavaScript和Asp、Php等后端程序间传值编码统一
2009/04/17 Javascript
JavaScript 模拟用户单击事件
2009/12/31 Javascript
jQuery包裹节点用法完整示例
2016/09/13 Javascript
AngularJS中run方法的巧妙运用
2017/01/04 Javascript
原生JS 购物车及购物页面的cookie使用方法
2017/08/21 Javascript
webpack使用 babel-loader 转换 ES6代码示例
2017/08/21 Javascript
Node.js 使用axios读写influxDB的方法示例
2018/10/26 Javascript
Vue项目路由刷新的实现代码
2019/04/17 Javascript
Node.js中Koa2在控制台输出请求日志的方法示例
2019/05/02 Javascript
[01:31]完美与DOTA2历程
2014/07/31 DOTA
[01:07:17]EG vs Optic Supermajor 败者组 BO3 第一场 6.6
2018/06/07 DOTA
Python pickle类库介绍(对象序列化和反序列化)
2014/11/21 Python
Python内建数据结构详解
2016/02/03 Python
python安装mysql-python简明笔记(ubuntu环境)
2016/06/25 Python
flask入门之文件上传与邮件发送示例
2018/07/18 Python
django 连接数据库 sqlite的例子
2019/08/14 Python
利用OpenCV和Python实现查找图片差异
2019/12/19 Python
python利用JMeter测试Tornado的多线程
2020/01/12 Python
Python系统公网私网流量监控实现流程
2020/11/23 Python
pycharm 的Structure界面设置操作
2021/02/05 Python
利用Python批量识别电子账单数据的方法
2021/02/08 Python
深圳-东方伟业笔试部分
2015/02/11 面试题
酒店管理毕业生自我鉴定
2014/03/02 职场文书
党性分析自查总结
2014/10/14 职场文书
2014年德育工作总结
2014/11/20 职场文书
2014年涉外离婚协议书范本
2014/11/20 职场文书
Python一些基本的图像操作和处理总结
2021/06/23 Python
MySQL优化及索引解析
2022/03/17 MySQL
tomcat下部署jenkins的方法
2022/05/06 Servers
mysql数据库如何转移到oracle
2022/12/24 MySQL