Python for Informatics 第11章之正则表达式(四)


Posted in Python onApril 21, 2016

注:以下文章原文来自于Dr Charles Severance 的 《Python for Informatics》

11.3 组合查询和抽取

如果我们想以“X-”字符串开头的行中找到数字,就像下面两行字符串:

X-DSPAM-Confidence: 0.8475
X-DSPAM-Probability: 0.0000

但我们不只是要任意行中的任意浮点数,而是具备上面格式的行中的数字。

我们可以创建以下正则表达式来选择这样的行:

^X-.*: [0-9.]+

这个表达式的含义是以“X-”两个字符开头,后面跟了任意个字符“.*",接着是一个冒号":"和空格" ",在空格之后呢是一个及以上的数字或小数点“[0-9.]+”。大家要注意的是方括号中的"[.]"不是匹配任何字符,而是匹配真正的".",这与方括号外的"."要予以区分。

这是一个非常紧凑的表达式,它将非常匹配我们感兴趣的行:

import re
hand = open('mobx-short.txt')
for line in hand:
line = line.rstrip()
if re.search('^X-.*: [0-9.]+', line)
print(line)

当我们运行这个程序,我们可以看到我们想要的数据被完美的过滤显示。

X-DSPAM-Confidence: 0.8475
X-DSPAM-Probability: 0.0000
X-DSPAM-Confidence: 0.6178
X-DSPAM-Probability: 0.0000

但是我们必须使用split解决提取数字的问题。然而当这个问题简单到能用split解决时,我们可以使用正则表达式的另一特点,一步达到查找和解析功能。

圆括号()是正则表达式中的另一特殊字符。当我们添加圆括号至表达式中,在字符串的匹配过程中它们将被忽略,但是当你使用findall()时,圆括号表示你想整个正则表达式被匹配,但是你只抽取位于圆括号内你感兴趣的那部分字符串。

所以我们对程序修改如下:

import re
hand = open('mbox-short.txt')
for line in hand:
line = line.rstrip()
x = re.findall('^X-.*: ([0-9.]+)', line)
if len(x) > 0 :
print(x)

我们在正则表达式中对匹配浮点数字部分添加圆括号,并且用findall()代替search(),返回我们想要的浮点数字部分。这个程序的输出如下:

['0.8475']
['0.0000']
['0.6178']
['0.0000']
['0.6961']
['0.0000']
..

虽然这些在列表中的数字还需要从字符串转换为浮点数,但是我们应用正则表达式的能力同时查找和抽取了我们感兴趣的的信息。

下面是使用这个技巧的另一个案例。如果你查看文件,你会发现有许多行是这样的格式:

Details: http://source.sakaiproject.org/viewsvn/?view=rev&rev=39772

如果我们想用同样的技巧抽取所有修订号(行末尾的整数),我们可以这样编写代码:

import re
hand = open('mbox-short.txt')
for line in hand:
line = line.rstrip()
x = re.findall('^Details:.*rev=([0-9]+)', line)
if len(x) > 0 :
print(x)

我们的正则表达式的是这样的,以"Details:"开头,之后可以是任意字符”.*",然后是"rev=",最后是一个以上的数字。我们希望行是匹配整个正则表达式,但我们只需要圆括号中"[0-9]+"的数字。当我们运行程序时,将得到以下输出:

['39772']
['39771']
['39770']
['39769']
...

记住,"[0-9]+"是贪婪的,它将尝试抽取任何可能的数字,所以我们得到的每个字符串都有五个数字。正则表达式库在行的开头和结尾两个方向进行扩展,只到它数到一个非数字的字符。

我们可以用正则表达式重做本书先前的一个练习。在这个练习中我们对每个邮件的时间感兴趣,我们寻找的行的格式如下:

From stephen.marquard@uct.ac.za Sat Jan 5 09:14:16 2008

并且我们想抽取每一行中日期中的小时信息。先前我们通过两次调用split实现。第一次我们将行分离成单词,然后我们对第五个单词基于冒号再次分离,拉出我们感兴趣的两个字符。

假定要查找的行是良好格式化的,那么只要想到少的代码就可以实现。但是当你为确保程序中碰到不具备这样格式而失效,而添加必要的错误检验(或者一个try/except块)时,这个代码将会膨胀到10-15行,并且难以读懂。

我们可以用下面的正则表达式使工作更简单:

^From .* [0-9][0-9]:

这个表达式的含义是以"From "开头(注意空格),然后跟着任意个字符".*",接着又是一个空格,然后是两个数字"[0-9][0-9]",再接着是一个冒号。我们要找的就是具备这样格式的行。

为了在findall中只抽出表示小时的两位数字,我们将表达式修改如下:

^From .* ([0-9][0-9]):

 最后这个程序是这样的:

import re
hand = open('mbox-short.txt')
for line in hand:
line = line.rstrip()
x = re.findall('ˆFrom .* ([0-9][0-9]):', line)
if len(x) > 0 : 
print(x)

程序运行结果如下:

['09']
['18']
['16']
['15']
...

相关阅读:

关于Python for Informatics 第11章之正则表达式(四)就给大家介绍到这里,希望对大家有所帮助。后续还会持续更新,更多精彩内容敬请关注!

Python 相关文章推荐
Python学习笔记之解析json的方法分析
Apr 21 Python
Python使用Scrapy保存控制台信息到文本解析
Dec 27 Python
python3的输入方式及多组输入方法
Oct 17 Python
Python在图片中插入大量文字并且自动换行
Jan 02 Python
Python实现定制自动化业务流量报表周报功能【XlsxWriter模块】
Mar 11 Python
python:按行读入,排序然后输出的方法
Jul 20 Python
利用 Flask 动态展示 Pyecharts 图表数据方法小结
Sep 04 Python
Python chardet库识别编码原理解析
Feb 18 Python
Python通过Tesseract库实现文字识别
Mar 05 Python
pytorch VGG11识别cifar10数据集(训练+预测单张输入图片操作)
Jun 24 Python
python中HTMLParser模块知识点总结
Jan 25 Python
基于PyTorch中view的用法说明
Mar 03 Python
Python for Informatics 第11章之正则表达式(二)
Apr 21 #Python
Python for Informatics 第11章 正则表达式(一)
Apr 21 #Python
编写Python爬虫抓取暴走漫画上gif图片的实例分享
Apr 20 #Python
Ruby使用eventmachine为HTTP服务器添加文件下载功能
Apr 20 #Python
Python实现HTTP协议下的文件下载方法总结
Apr 20 #Python
详解Python命令行解析工具Argparse
Apr 20 #Python
利用Python如何生成随机密码
Apr 20 #Python
You might like
PHP在Web开发领域的优势
2006/10/09 PHP
php中截取字符串支持utf-8
2007/01/18 PHP
php生成的html meta和link标记在body标签里 顶部有个空行
2010/05/18 PHP
PHP引用符&的用法详细解析
2013/08/22 PHP
php使用递归计算文件夹大小
2014/12/24 PHP
PHP实现的pdo连接数据库并插入数据功能简单示例
2019/03/30 PHP
jQuery中获取checkbox选中项等操作及注意事项
2013/11/24 Javascript
js身份证判断方法支持15位和18位
2014/03/18 Javascript
jquery插件冲突(jquery.noconflict)解决方法分享
2014/03/20 Javascript
JavaScript的arguments对象应用示例
2014/09/15 Javascript
IE6-IE9中tbody的innerHTML不能赋值的解决方法
2014/09/26 Javascript
DeviceOne 让你一见钟情的App快速开发平台
2016/02/17 Javascript
浅谈原生JS实现jQuery的animate()动画示例
2017/03/08 Javascript
Vue-resource拦截器判断token失效跳转的实例
2017/10/27 Javascript
Vue父组件调用子组件事件方法
2018/02/23 Javascript
利用vscode调试编译后的js代码详解
2018/05/14 Javascript
微信小程序与webview交互实现支付功能
2019/06/07 Javascript
JavaScript实现打砖块游戏
2020/02/25 Javascript
python3图片转换二进制存入mysql
2013/12/06 Python
简单的Python抓taobao图片爬虫
2014/10/26 Python
python批量生成本地ip地址的方法
2015/03/23 Python
python 异常处理总结
2016/10/18 Python
Python 堆叠柱状图绘制方法
2019/07/29 Python
python循环输出三角形图案的例子
2019/11/22 Python
python保存log日志,实现用log日志画图
2019/12/24 Python
基于Keras的格式化输出Loss实现方式
2020/06/17 Python
python实现mask矩阵示例(根据列表所给元素)
2020/07/30 Python
canvas与html5实现视频截图功能示例
2016/12/15 HTML / CSS
Dr. Martens马汀博士官网:马丁靴始祖品牌
2016/10/15 全球购物
东南亚旅游平台:The Trip Guru
2018/01/01 全球购物
二年级小学生评语
2014/04/21 职场文书
工作鉴定评语
2014/05/04 职场文书
小学教师师德承诺书
2014/05/23 职场文书
2014年党支部承诺书
2014/05/30 职场文书
2015年语文教研组工作总结
2015/05/23 职场文书
css3手动实现pc端横向滚动
2022/06/21 HTML / CSS