Python使用正则表达式获取网页中所需要的信息


Posted in Python onJanuary 29, 2018

使用正则表达式的几个步骤:

1、用import re 导入正则表达式模块;

2、用re.compile()函数创建一个Regex对象;

3、用Regex对象的search()或findall()方法,传入想要查找的字符串,返回一个Match对象;

4、调用Match对象的group()方法,返回匹配到的字符串。

在交互式环境中简单尝试一下,查询字符串中的固话:

import re
 text = '小明家的固话是0755-123456,而小丽家的固话时0789-654321,小王家的电话是123456789'#用于检测的字符串
 ph_re = re.compile(r'\d{4}?-\d+') #创建Regex对象,匹配几种电话的方式,\d表示0-9的数字,{4}表示前面的匹配4次,?表示可选,+表示出现1次或多次。
 matchs1 = ph_re.findall(text) #findall()表示查找所有匹配项,返回一个字符串
 matchs2 = ph_re.search(text)#search(),查找第一次匹配的文本,返回一个对象。
 print(matchs1)
 print(matchs2)
 matchs2.group()

返回的结果,是这样的:

findall()方法返回的是一个字符串,可以直接打印出来。而search()方法返回的是一个对象,所以打印出来的是是如图的第二行。

调用group(),对象返回匹配的结果。

最后,小王的电话之所以没有匹配到,是因为'-'没有进行可选即在其后加上‘?'。

下面进行一个小的实验,获取某个网页中所有的http/https网址,并计算有多少个。

首先是获取HTML文件。这里要用到requests模块。

# -*- coding: utf-8 -*-
 import requests
 import re
 def get_html(url):
  res = requests.get(url)
  res.encoding = 'utf-8'
  html = res.text
  return html

这里get_html函数返回的,其实就类似上面例子中的text,用来匹配的文本。

然后,创建正则表达式:

def get_addr(response):
  addr_regex = re.compile(r'''(
   (http://|https://)?#http/https
   (www)?
   (\.[a-z1-9A-Z]+)
   (\.com|\.cn)
   )''',re.VERBOSE)#匹配网址,
  matchs = []
  for groups in addr_regex.findall(response):
   matchs.append(groups[0])
  if len(matchs) == 0:
   print('没有网址')  
  return matchs

这里向re.compile(),传入变量re.VERBOSE,作为第二个参数,可以将正则表达式放在多行,并进行注释,如上。

返回一个matchs列表对象。

再来个启动函数。

def start():
  url = 'http://news.163.com/18/0127/18/D966K4CO0001899N.html'
  a = get_html(url)
  b = get_addr(a)
  print('\n'.join(b))
  print(str(len(b)))
  print('ok')
if __name__ == '__main__':
  start()

这里传入的url是我随意找的一个新闻链接。

然后调用get_html()get_addr(),就得到了想要的东西。str(len(b)),为统计的数量。

测试的结果是类似这样的:

这里似乎获取一些URL,没什么卵用。。。但是,如果结合前面的查询新闻列表的方式,获取批量url,

而创建的正则是xxx.jpg,然后调用os模块,os.mkdir(folder)、os.chdir(folder),将获取到的匹配结果写入文件,放入某个文件夹。

那么就可以实现,从某些网站上批量获取jpg图片,然后存入某个文件夹的爬虫功能。实测,可行!

总结

以上所述是小编给大家介绍的Python使用正则获取网页中所需要的信息,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
python中getattr函数使用方法 getattr实现工厂模式
Jan 20 Python
Tornado服务器中绑定域名、虚拟主机的方法
Aug 22 Python
python开发之str.format()用法实例分析
Feb 22 Python
python实现批量监控网站
Sep 09 Python
python实现接口并发测试脚本
Jun 25 Python
Python3+PyInstall+Sciter解决报错缺少dll、html等文件问题
Jul 15 Python
python实现超市商品销售管理系统
Oct 25 Python
python标准库sys和OS的函数使用方法与实例详解
Feb 12 Python
基于python tkinter的点名小程序功能的实例代码
Aug 22 Python
Python‘==‘ 及 ‘is‘相关原理解析
Sep 05 Python
python获取本周、上周、本月、上月及本季的时间代码实例
Sep 08 Python
python+pytest接口自动化之token关联登录的实现
Apr 06 Python
python实现K最近邻算法
Jan 29 #Python
python简单实现操作Mysql数据库
Jan 29 #Python
Django框架教程之正则表达式URL误区详解
Jan 28 #Python
python通过百度地图API获取某地址的经纬度详解
Jan 28 #Python
python中的随机函数小结
Jan 27 #Python
python中的随机函数random的用法示例
Jan 27 #Python
Python闭包之返回函数的函数用法示例
Jan 27 #Python
You might like
Terran热键控制
2020/03/14 星际争霸
一个自定义位数的php多用户计数器代码
2007/03/11 PHP
PHP 远程关机实现代码
2009/11/10 PHP
PHP isset()与empty()的使用区别详解
2010/08/29 PHP
PHP实现适用于文件内容操作的分页类
2016/06/15 PHP
PHP PDOStatement::getColumnMeta讲解
2019/02/01 PHP
jMessageBox 基于jQuery的窗口插件
2009/12/09 Javascript
jQuery EasyUI API 中文文档 - Dialog对话框
2011/11/15 Javascript
JS、CSS以及img对DOMContentLoaded事件的影响
2014/08/12 Javascript
jQuery实现仿淘宝带有指示条的图片转动切换效果完整实例
2015/03/04 Javascript
jquery实现弹出层登录和全屏层注册特效
2015/08/28 Javascript
基于js粘贴事件paste简单解析以及遇到的坑
2017/09/07 Javascript
Node.js实现注册邮箱激活功能的方法示例
2018/03/23 Javascript
浅谈在react中如何实现扫码枪输入
2018/07/04 Javascript
微信小程序自定义头部导航栏和导航栏背景图片 navigationStyle问题
2019/07/26 Javascript
[51:34]Ti4主赛事胜者组 DK vs EG 2
2014/07/19 DOTA
pyqt和pyside开发图形化界面
2014/01/22 Python
python实现字符串连接的三种方法及其效率、适用场景详解
2017/01/13 Python
Python的时间模块datetime详解
2017/04/17 Python
Python实现获取本地及远程图片大小的方法示例
2018/07/21 Python
使用python自动追踪你的快递(物流推送邮箱)
2020/03/17 Python
python中os包的用法
2020/06/01 Python
HTML5 Canvas渐进填充与透明实现图像的Mask效果
2013/07/11 HTML / CSS
阿根廷网上配眼镜:SmartBuyGlasses阿根廷
2016/08/19 全球购物
英国网上购买门:Direct Doors
2018/06/07 全球购物
JAKO-O德国野酷台湾站:德国首屈一指的婴幼童用品品牌
2019/01/14 全球购物
官方授权图形T恤和服装:Fifth Sun
2019/06/12 全球购物
《春笋》教学反思
2014/04/15 职场文书
擅自离岗检讨书
2014/09/12 职场文书
个人授权委托书样本
2014/09/13 职场文书
2014年公务员退休工资改革方案
2014/10/01 职场文书
风之谷观后感
2015/06/11 职场文书
行政复议答复书
2015/07/01 职场文书
新员工入职感想
2015/08/07 职场文书
“爱眼护眼,提前预防近视”倡议书3篇
2019/10/30 职场文书
唤醒紫霞仙子,携手再游三界!大话手游X《大话西游》电影合作专属剧情任务
2022/04/03 其他游戏