Python for Informatics 第11章之正则表达式(四)


Posted in Python onApril 21, 2016

注:以下文章原文来自于Dr Charles Severance 的 《Python for Informatics》

11.3 组合查询和抽取

如果我们想以“X-”字符串开头的行中找到数字,就像下面两行字符串:

X-DSPAM-Confidence: 0.8475
X-DSPAM-Probability: 0.0000

但我们不只是要任意行中的任意浮点数,而是具备上面格式的行中的数字。

我们可以创建以下正则表达式来选择这样的行:

^X-.*: [0-9.]+

这个表达式的含义是以“X-”两个字符开头,后面跟了任意个字符“.*",接着是一个冒号":"和空格" ",在空格之后呢是一个及以上的数字或小数点“[0-9.]+”。大家要注意的是方括号中的"[.]"不是匹配任何字符,而是匹配真正的".",这与方括号外的"."要予以区分。

这是一个非常紧凑的表达式,它将非常匹配我们感兴趣的行:

import re
hand = open('mobx-short.txt')
for line in hand:
line = line.rstrip()
if re.search('^X-.*: [0-9.]+', line)
print(line)

当我们运行这个程序,我们可以看到我们想要的数据被完美的过滤显示。

X-DSPAM-Confidence: 0.8475
X-DSPAM-Probability: 0.0000
X-DSPAM-Confidence: 0.6178
X-DSPAM-Probability: 0.0000

但是我们必须使用split解决提取数字的问题。然而当这个问题简单到能用split解决时,我们可以使用正则表达式的另一特点,一步达到查找和解析功能。

圆括号()是正则表达式中的另一特殊字符。当我们添加圆括号至表达式中,在字符串的匹配过程中它们将被忽略,但是当你使用findall()时,圆括号表示你想整个正则表达式被匹配,但是你只抽取位于圆括号内你感兴趣的那部分字符串。

所以我们对程序修改如下:

import re
hand = open('mbox-short.txt')
for line in hand:
line = line.rstrip()
x = re.findall('^X-.*: ([0-9.]+)', line)
if len(x) > 0 :
print(x)

我们在正则表达式中对匹配浮点数字部分添加圆括号,并且用findall()代替search(),返回我们想要的浮点数字部分。这个程序的输出如下:

['0.8475']
['0.0000']
['0.6178']
['0.0000']
['0.6961']
['0.0000']
..

虽然这些在列表中的数字还需要从字符串转换为浮点数,但是我们应用正则表达式的能力同时查找和抽取了我们感兴趣的的信息。

下面是使用这个技巧的另一个案例。如果你查看文件,你会发现有许多行是这样的格式:

Details: http://source.sakaiproject.org/viewsvn/?view=rev&rev=39772

如果我们想用同样的技巧抽取所有修订号(行末尾的整数),我们可以这样编写代码:

import re
hand = open('mbox-short.txt')
for line in hand:
line = line.rstrip()
x = re.findall('^Details:.*rev=([0-9]+)', line)
if len(x) > 0 :
print(x)

我们的正则表达式的是这样的,以"Details:"开头,之后可以是任意字符”.*",然后是"rev=",最后是一个以上的数字。我们希望行是匹配整个正则表达式,但我们只需要圆括号中"[0-9]+"的数字。当我们运行程序时,将得到以下输出:

['39772']
['39771']
['39770']
['39769']
...

记住,"[0-9]+"是贪婪的,它将尝试抽取任何可能的数字,所以我们得到的每个字符串都有五个数字。正则表达式库在行的开头和结尾两个方向进行扩展,只到它数到一个非数字的字符。

我们可以用正则表达式重做本书先前的一个练习。在这个练习中我们对每个邮件的时间感兴趣,我们寻找的行的格式如下:

From stephen.marquard@uct.ac.za Sat Jan 5 09:14:16 2008

并且我们想抽取每一行中日期中的小时信息。先前我们通过两次调用split实现。第一次我们将行分离成单词,然后我们对第五个单词基于冒号再次分离,拉出我们感兴趣的两个字符。

假定要查找的行是良好格式化的,那么只要想到少的代码就可以实现。但是当你为确保程序中碰到不具备这样格式而失效,而添加必要的错误检验(或者一个try/except块)时,这个代码将会膨胀到10-15行,并且难以读懂。

我们可以用下面的正则表达式使工作更简单:

^From .* [0-9][0-9]:

这个表达式的含义是以"From "开头(注意空格),然后跟着任意个字符".*",接着又是一个空格,然后是两个数字"[0-9][0-9]",再接着是一个冒号。我们要找的就是具备这样格式的行。

为了在findall中只抽出表示小时的两位数字,我们将表达式修改如下:

^From .* ([0-9][0-9]):

 最后这个程序是这样的:

import re
hand = open('mbox-short.txt')
for line in hand:
line = line.rstrip()
x = re.findall('ˆFrom .* ([0-9][0-9]):', line)
if len(x) > 0 : 
print(x)

程序运行结果如下:

['09']
['18']
['16']
['15']
...

相关阅读:

关于Python for Informatics 第11章之正则表达式(四)就给大家介绍到这里,希望对大家有所帮助。后续还会持续更新,更多精彩内容敬请关注!

Python 相关文章推荐
Python求两个文本文件以行为单位的交集、并集与差集的方法
Jun 17 Python
python数据结构之图深度优先和广度优先实例详解
Jul 08 Python
详解Python各大聊天系统的屏蔽脏话功能原理
Dec 01 Python
python 实现数组list 添加、修改、删除的方法
Apr 04 Python
详解多线程Django程序耗尽数据库连接的问题
Oct 08 Python
深入浅析Python2.x和3.x版本的主要区别
Nov 30 Python
python实现基于朴素贝叶斯的垃圾分类算法
Jul 09 Python
python中对二维列表中一维列表的调用方法
Jun 07 Python
scrapy与selenium结合爬取数据(爬取动态网站)的示例代码
Sep 28 Python
浅析pandas随机排列与随机抽样
Jan 22 Python
pycharm 的Structure界面设置操作
Feb 05 Python
Python中requests库的用法详解
Jun 05 Python
Python for Informatics 第11章之正则表达式(二)
Apr 21 #Python
Python for Informatics 第11章 正则表达式(一)
Apr 21 #Python
编写Python爬虫抓取暴走漫画上gif图片的实例分享
Apr 20 #Python
Ruby使用eventmachine为HTTP服务器添加文件下载功能
Apr 20 #Python
Python实现HTTP协议下的文件下载方法总结
Apr 20 #Python
详解Python命令行解析工具Argparse
Apr 20 #Python
利用Python如何生成随机密码
Apr 20 #Python
You might like
PHP XML备份Mysql数据库
2009/05/27 PHP
PHP读取txt文件的内容并赋值给数组的代码
2011/11/03 PHP
解析如何去掉CodeIgniter URL中的index.php
2013/06/25 PHP
如何使用PHP批量去除文件UTF8 BOM信息
2013/08/05 PHP
PHP tp5中使用原生sql查询代码实例
2020/10/28 PHP
JS定时器实例
2013/04/17 Javascript
网页中可关闭的漂浮窗口实现可自行调节
2013/08/20 Javascript
解析img图片没找到onerror事件 Stack overflow at line: 0
2013/12/23 Javascript
搭建pomelo 开发环境
2014/06/24 Javascript
了不起的node.js读书笔记之例程分析
2014/12/22 Javascript
jQuery替换textarea中换行的方法
2015/06/10 Javascript
Vue实现双向绑定的方法
2016/12/22 Javascript
vue.js将unix时间戳转换为自定义时间格式
2017/01/03 Javascript
Vue实现的父组件向子组件传值功能示例
2019/01/19 Javascript
js/jQuery实现全选效果
2019/06/17 jQuery
使用Vue开发自己的Chrome扩展程序过程详解
2019/06/21 Javascript
详细分析Node.js 多进程
2020/06/22 Javascript
[54:56]DOTA2上海特级锦标赛主赛事日 - 5 总决赛Liquid VS Secret第三局
2016/03/06 DOTA
用Python和MD5实现网站挂马检测程序
2014/03/13 Python
Python 性能优化技巧总结
2016/11/01 Python
Python OpenCV 调用摄像头并截图保存功能的实现代码
2019/07/02 Python
Python接口测试get请求过程详解
2020/02/28 Python
python读取当前目录下的CSV文件数据
2020/03/11 Python
Smashbox官网:美国知名彩妆品牌
2017/01/05 全球购物
JPA面试常见问题
2016/11/14 面试题
课程设计心得体会
2013/12/28 职场文书
大学生学习自我评价
2014/01/13 职场文书
秋季开学典礼主持词
2014/03/19 职场文书
合伙协议书范本
2014/04/21 职场文书
人事任命书怎么写
2014/06/05 职场文书
优秀毕业生求职信
2014/06/05 职场文书
企业宣传口号
2014/06/12 职场文书
2016高考冲刺决心书
2015/09/23 职场文书
2015团员个人年度总结
2015/11/24 职场文书
2016年社会主义核心价值观心得体会
2016/01/21 职场文书
一文带你探究MySQL中的NULL
2021/11/11 MySQL