Python爬虫之正则表达式基本用法实例分析


Posted in Python onAugust 08, 2018

本文实例讲述了Python爬虫之正则表达式基本用法。分享给大家供大家参考,具体如下:

一、简介

正则表达式,又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法(英语:Regular Expression,在代码中常简写为regex、regexp或RE),计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。在很多文本编辑器里,正则表达式通常被用来检索、替换那些匹配某个模式的文本。

compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。

二、使用方法

1、简单看一下写法

函数语法:

re.match(pattern, string, flags=0)

函数参数说明:

参数 描述
pattern 匹配的正则表达式
string 要匹配的字符串。
flags 标志位,用于控制正则表达式的匹配方式,如:是否区分大小写,多行匹配等等。

匹配成功re.match方法返回一个匹配的对象,否则返回None

我们可以使用group(num)groups() 匹配对象函数来获取匹配表达式。

匹配对象方法 描述
group(num=0) 匹配的整个表达式的字符串,group() 可以一次输入多个组号,在这种情况下它将返回一个包含那些组所对应值的元组。
groups() 返回一个包含所有小组字符串的元组,从 1 到 所含的小组号。
import re
p = re.compile('abcd')
print(type(p))
#<class '_sre.SRE_Pattern'>
print(dir(p))
#['__class__', '__copy__', '__deepcopy__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', '__le__', '__lt__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', 'findall', 'finditer', 'flags', 'fullmatch', 'groupindex', 'groups', 'match', 'pattern', 'scanner', 'search', 'split', 'sub', 'subn']
m = p.match('abcdef')
print(type(m))
#<class '_sre.SRE_Match'>
print(dir(m))
#['__class__', '__copy__', '__deepcopy__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', '__le__', '__lt__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', 'end', 'endpos', 'expand', 'group', 'groupdict', 'groups', 'lastgroup', 'lastindex', 'pos', 're', 'regs', 'span', 'start', 'string']
print(m.group())
#abcd
print(m.group(0))
#abcd

re.match()方法值匹配字符串的开头如果不满足,就返回一个None

import re
p = re.compile('abcd')
m = p.match('abdcef')
print(m.group())
#AttributeError: 'NoneType' object has no attribute 'group'

神奇的.

import re
p = re.compile('.')
m = p.match('abdcef')
print(m.group())
#a

特殊字符(元字符)

注意:\在里面是转义词的意思,例如,你想匹配一个re.compile('.'),这个.是匹配任意字符。但是我就想让它匹配一个.怎么办,re.compile('\.'),这样的话它就真的只匹配一个点。

Python爬虫之正则表达式基本用法实例分析

re.findall()

import re
p = re.compile('\.')
#匹配符号点(注意这里可前面加上了转义符\,就不是匹配任意字符了)
m = p.findall('abc.def.')
print(type(m))
#<class 'list'>
print(m)
#['.', '.']
#可以得出,返回的是一个list,全局查找,不想match方法只匹配字符串开头

数量词:

Python爬虫之正则表达式基本用法实例分析

贪婪模式和非贪婪模式

1、一个小例子

我们知道*表示匹配一个字符串0次或者多次,而+是匹配字符串1次或多次,所以*的时候匹配了0次也打印出来了,而+只找匹配1次的字符。

import re
p = re.compile('[abc]+')
m = p.findall('abcdef')
print(m)
#*
 #['abc', '', '', '', '']
#+
 #['abc']

贪婪与非贪婪模式影响的是被量词修饰的子表达式的匹配行为,贪婪模式在整个表达式匹配成功的前提下,尽可能多的匹配.

而非贪婪模式在整个表达式匹配成功的前提下,尽可能少的匹配。

2、{}

根据下面的例子不难看出,数量词{m}表示的是匹配前面字符串的几个字符串

import re
p = re.compile('[abc]{3}')
m = p.findall('abcdabcd')
print(m)
#{1}
 #['a', 'b', 'c', 'a', 'b', 'c']
#{2}
 #['ab', 'ab']
#{3}
 #['abc', 'abc']

re.search方法

re.search 扫描整个字符串并返回第一个成功的匹配,否则返回的是None(注意findall返回的是list,而search返回的直接就是字符串)

import re
p = re.compile('abcd')
m = p.search('abcdabcd')
print(m.group())

检索和替换

Python 的 re 模块提供了re.sub用于替换字符串中的匹配项。

语法:

re.sub(pattern, repl, string, count=0, flags=0)

参数:

  • pattern : 正则中的模式字符串。
  • repl : 替换的字符串,也可为一个函数。
  • string : 要被查找替换的原始字符串。
  • count : 模式匹配后替换的最大次数,默认 0 表示替换所有的匹配。

示例一:

替换一#开头的所有字符(匹配任意字符0次或者多次),替换成无。

import re
phone = "2004-959-559 # 这是一个国外电话号码"
num = re.sub('#.*','',phone)
print(num)

示例一:扩展

找到所有非数字的字符,‘'代表着删除。

import re
phone = "2004-959-559 # 这是一个国外电话号码"
num = re.sub('\D','',phone)
print(num)

正则表达式修饰符 - 可选标志

正则表达式可以包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。多个标志可以通过按位 OR(|) 它们来指定。如 re.I | re.M 被设置成 I 和 M 标志

Python爬虫之正则表达式基本用法实例分析

Python 相关文章推荐
python正则表达式match和search用法实例
Mar 26 Python
在Python中使用dict和set方法的教程
Apr 27 Python
在Python的web框架中配置app的教程
Apr 30 Python
python制作一个桌面便签软件
Aug 09 Python
python导出chrome书签到markdown文件的实例代码
Dec 27 Python
Python3使用正则表达式爬取内涵段子示例
Apr 22 Python
python复制文件到指定目录的实例
Apr 27 Python
python 处理string到hex脚本的方法
Oct 26 Python
windows下python安装pip方法详解
Feb 10 Python
python下载卫星云图合成gif的方法示例
Feb 18 Python
Python中logger日志模块详解
Aug 04 Python
python 进程池pool使用详解
Oct 15 Python
Python爬虫之pandas基本安装与使用方法示例
Aug 08 #Python
python MNIST手写识别数据调用API的方法
Aug 08 #Python
python实现屏保计时器的示例代码
Aug 08 #Python
详解Python 装饰器执行顺序迷思
Aug 08 #Python
python Flask 装饰器顺序问题解决
Aug 08 #Python
Python BS4库的安装与使用详解
Aug 08 #Python
python特性语法之遍历、公共方法、引用
Aug 08 #Python
You might like
php中curl和file_get_content的区别
2014/05/10 PHP
Drupal简体中文语言包安装教程
2014/09/27 PHP
PHP中通过trigger_error触发PHP错误示例
2015/06/23 PHP
php-fpm添加service服务的例子
2018/04/27 PHP
php微信公众号开发之答题连闯三关
2018/10/20 PHP
tp5递归 无限级分类详解
2019/10/18 PHP
对象特征检测法判断浏览器对javascript对象的支持
2009/07/25 Javascript
jquery 与NVelocity 产生冲突的解决方法
2011/06/13 Javascript
js获得网页背景色和字体色的方法
2014/03/21 Javascript
JavaScript_ECMA5数组新特性详解
2016/06/12 Javascript
基于Bootstrap的UI扩展 StyleBootstrap
2016/06/17 Javascript
jquery中用函数来设置css样式
2016/12/22 Javascript
微信小程序 合法域名校验出错详解及解决办法
2017/03/09 Javascript
Vue之Watcher源码解析(1)
2017/07/19 Javascript
AngularJS 将再发布一个重要版本 然后进入长期支持阶段
2018/01/31 Javascript
JS实现移动端触屏拖拽功能
2018/07/31 Javascript
vue 开发企业微信整合案例分析
2019/12/02 Javascript
微信小程序实现组件顶端固定或底端固定效果(不随滚动而滚动)
2020/04/09 Javascript
详解Typescript 内置的模块导入兼容方式
2020/05/31 Javascript
简单介绍使用Python解析并修改XML文档的方法
2015/10/15 Python
基于Django模板中的数字自增(详解)
2017/09/05 Python
Scrapy框架CrawlSpiders的介绍以及使用详解
2017/11/29 Python
Python爬虫获取整个站点中的所有外部链接代码示例
2017/12/26 Python
python matplotlib 在指定的两个点之间连线方法
2018/05/25 Python
利用anaconda保证64位和32位的python共存
2021/03/09 Python
Python整数与Numpy数据溢出问题解决
2019/09/11 Python
python自定义函数def的应用详解
2020/06/03 Python
sublime3之内网安装python插件Anaconda的流程
2020/11/10 Python
欧迪办公美国官网:Office Depot
2016/08/22 全球购物
世界上最大的隐形眼镜商店:1-800 Contacts
2018/11/03 全球购物
中国领先的汽车保养服务平台:途虎养车
2019/10/18 全球购物
在购买印度民族服饰:Soch
2020/09/15 全球购物
家长会学生家长演讲稿
2013/12/29 职场文书
2014年大学庆元旦迎新年活动方案
2014/03/09 职场文书
学校党的群众路线教育实践活动领导班子对照检查材料
2014/09/25 职场文书
读《工匠精神》有感:热爱工作,精益求精
2019/12/28 职场文书