Python3 mmap内存映射文件示例解析


Posted in Python onMarch 23, 2020

1. mmap内存映射文件

建立一个文件的内存映射将使用操作系统虚拟内存来直接访问文件系统上的数据,而不是使用常规的I/O函数访问数据。内存映射通常可以提供I/O性能,因为使用内存映射是,不需要对每个访问都建立一个单独的系统调用,也不需要在缓冲区之间复制数据;实际上,内核和用户应用都能直接访问内存。

内存映射文件可以看作是可修改的字符串或类似文件的对象,这取决于具体的需要。映射文件支持一般的文件API方法,如close()、flush()、read()、readline()、seek()、tell()和write()。它还支持字符串API,提供分片等特性以及类似find()的方法。

下面的所有示例都会使用文本文件lorem.txt,其中包含一些Lorem Ipsum。为便于参考,下面的代码清单给出这个文件的文本。

Lorem ipsum dolor sit amet, consectetuer adipiscing elit.
Donec egestas, enim et consectetuer ullamcorper, lectus ligula rutrum leo,
a elementum elit tortor eu quam. Duis tincidunt nisi ut ante. Nulla
facilisi. Sed tristique eros eu libero. Pellentesque vel
arcu. Vivamus purus orci, iaculis ac, suscipit sit amet, pulvinar eu,
lacus. Praesent placerat tortor sed nisl. Nunc blandit diam egestas
dui. Pellentesque habitant morbi tristique senectus et netus et
malesuada fames ac turpis egestas. Aliquam viverra fringilla
leo. Nulla feugiat augue eleifend nulla. Vivamus mauris. Vivamus sed
mauris in nibh placerat egestas. Suspendisse potenti. Mauris
massa. Ut eget velit auctor tortor blandit sollicitudin. Suspendisse
imperdiet justo.

1.1 读文件

使用mmap()函数可以创建一个内存映射文件。第一个参数是文件描述符,可能来自file对象的fileno()方法,也可能来自os.open()。调用者在调用mmap()之前负责打开文件,不再需要文件时要负责将其关闭。

mmap()的第二个参数是要映射的文件部分的大小(以字节为单位)。如果这个值为0,则映射整个文件。如果这个大小大于文件的当前大小,则会扩展该文件。

这两个平台都支持一个可选的关键字参数access。使用ACCESS_READ表示只读访问;ACCESS_WRITE表示“写通过”(write-through),即对内存的赋值直接写入文件;ACCESS_COPY表示“写时复制”(copy-on-write),对内存的赋值不会写至文件。

import mmap
with open('lorem.txt', 'r') as f:
  with mmap.mmap(f.fileno(), 0,
          access=mmap.ACCESS_READ) as m:
    print('First 10 bytes via read :', m.read(10))
    print('First 10 bytes via slice:', m[:10])
    print('2nd  10 bytes via read :', m.read(10))

文件指针会跟踪通过一个分片操作访问的最后一个字节。在这个例子中,第一次读之后,指针向前移动10个字节。然后由分片操作将指针重置回文件的起点位置,并由分片使指针再次向前移动10个字节。分片操作之后,再调用read()会给出文件的11~20字节。

Python3 mmap内存映射文件示例解析

1.2 写文件

要建立内存映射文件来接收更新,映射之前首先要使用模式'r+'(而不是'w')打开文件以便完成追加。然后可以使用任何改变数据的API方法(例如write()或赋值到一个分片等)。

下面的例子使用了默认访问模式ACCESS_WRITE,并赋值到一个分片,以原地修改某一行的一部分。

import mmap
import shutil
# Copy the example file
shutil.copyfile('lorem.txt', 'lorem_copy.txt')
word = b'consectetuer'
reversed = word[::-1]
print('Looking for  :', word)
print('Replacing with :', reversed)
with open('lorem_copy.txt', 'r+') as f:
  with mmap.mmap(f.fileno(), 0) as m:
    print('Before:\n{}'.format(m.readline().rstrip()))
    m.seek(0) # rewind
    loc = m.find(word)
    m[loc:loc + len(word)] = reversed
    m.flush()
    m.seek(0) # rewind
    print('After :\n{}'.format(m.readline().rstrip()))
    f.seek(0) # rewind
    print('File :\n{}'.format(f.readline().rstrip()))

内存的文件中第一行中间的单词“consectetuer”将被替换。

Python3 mmap内存映射文件示例解析

使用访问设置ACCESS_COPY时不会把修改写入磁盘上的文件。

import mmap
import shutil
# Copy the example file
shutil.copyfile('lorem.txt', 'lorem_copy.txt')
word = b'consectetuer'
reversed = word[::-1]
with open('lorem_copy.txt', 'r+') as f:
  with mmap.mmap(f.fileno(), 0,
          access=mmap.ACCESS_COPY) as m:
    print('Memory Before:\n{}'.format(
      m.readline().rstrip()))
    print('File Before :\n{}\n'.format(
      f.readline().rstrip()))
    m.seek(0) # rewind
    loc = m.find(word)
    m[loc:loc + len(word)] = reversed
    m.seek(0) # rewind
    print('Memory After :\n{}'.format(
      m.readline().rstrip()))
    f.seek(0)
    print('File After  :\n{}'.format(
      f.readline().rstrip()))

在这个例子中,必须单独的回转文件句柄和mmap句柄,因为这两个对象的内部状态会单独维护。

Python3 mmap内存映射文件示例解析

1.3 正则表达式

由于内存映射文件就类似于一个字符串,因此也常与其他处理字符串的模块一起使用,如正则表达式。下面的例子会找出所有包含“nulla”的句子。

import mmap
import re
pattern = re.compile(rb'(\.\W+)?([^.]?nulla[^.]*?\.)',
           re.DOTALL | re.IGNORECASE | re.MULTILINE)
with open('lorem.txt', 'r') as f:
  with mmap.mmap(f.fileno(), 0,
          access=mmap.ACCESS_READ) as m:
    for match in pattern.findall(m):
      print(match[1].replace(b'\n', b' '))

由于这个模式包含两个组,所以findall()的返回值是一个元组序列。print语句会找到匹配的句子,并用空格代替换行符,使各个结果都打印在同一行上。

Python3 mmap内存映射文件示例解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python下MySQLdb用法实例分析
Jun 08 Python
python list排序的两种方法及实例讲解
Mar 20 Python
Python时间戳使用和相互转换详解
Dec 11 Python
python决策树之C4.5算法详解
Dec 20 Python
python利用OpenCV2实现人脸检测
Apr 16 Python
python tensorflow基于cnn实现手写数字识别
Jan 01 Python
Python实现屏幕截图的两种方式
Feb 05 Python
Python之虚拟环境virtualenv,pipreqs生成项目依赖第三方包的方法
Jul 23 Python
python 中值滤波,椒盐去噪,图片增强实例
Dec 18 Python
基于python+selenium的二次封装的实现
Jan 06 Python
pytorch 模型的train模式与eval模式实例
Feb 20 Python
python产生模拟数据faker库的使用详解
Nov 04 Python
Python3 io文本及原始流I/O工具用法详解
Mar 23 #Python
python实现横向拼接图片
Mar 23 #Python
Python操作Excel工作簿的示例代码(\*.xlsx)
Mar 23 #Python
python实现拼接图片
Mar 23 #Python
python使用PIL剪切和拼接图片
Mar 23 #Python
python异常处理、自定义异常、断言原理与用法分析
Mar 23 #Python
python实现单张图像拼接与批量图片拼接
Mar 23 #Python
You might like
PHP中实现生成静态文件的方法缓解服务器压力
2014/01/07 PHP
简单实用的网站PHP缓存类实例
2014/07/18 PHP
基于递归实现的php树形菜单代码
2014/11/19 PHP
PHP序列化操作方法分析
2016/09/28 PHP
Js控制弹窗实现在任意分辨率下居中显示
2013/08/01 Javascript
javascript使用onclick事件改变选中行的颜色
2013/12/30 Javascript
js中文逗号转英文实现
2014/02/11 Javascript
Active控件问题小结(附解决办法)
2016/06/09 Javascript
jQuery的$.extend 浅拷贝与深拷贝
2017/03/08 Javascript
微信小程序开发之麦克风动画 帧动画 放大 淡出
2017/04/18 Javascript
node.JS md5加密中文与php结果不一致的解决方法
2017/05/05 Javascript
JS实现的简单拖拽购物车功能示例【附源码下载】
2018/01/03 Javascript
微信小程序如何获取openid及用户信息
2018/01/26 Javascript
浅谈webpack打包之后的文件过大的解决方法
2018/03/07 Javascript
Javascript中弹窗confirm与prompt的区别
2018/10/26 Javascript
js实现删除li标签一行内容
2019/04/16 Javascript
关于layui 弹出层一闪而过就消失的解决方法
2019/09/09 Javascript
[01:00:52]2018DOTA2亚洲邀请赛 4.4 淘汰赛 EG vs LGD 第一场
2018/04/05 DOTA
python使用多线程不断刷新网页的方法
2015/03/31 Python
Python3实现发送QQ邮件功能(html)
2017/12/15 Python
Pipenv一键搭建python虚拟环境的方法
2018/05/22 Python
查看django执行的sql语句及消耗时间的两种方法
2018/05/29 Python
python3实现的zip格式压缩文件夹操作示例
2019/08/17 Python
Python实现手绘图效果实例分享
2020/07/22 Python
python实现b站直播自动发送弹幕功能
2021/02/20 Python
35款精致的 CSS3 和 HTML5 网页模板 推荐
2012/08/03 HTML / CSS
匡威西班牙官网:Converse西班牙
2019/10/01 全球购物
老师推荐信
2013/10/28 职场文书
车间调度岗位职责
2013/11/30 职场文书
应届生如何写自荐信
2014/01/05 职场文书
趣味比赛活动方案
2014/02/15 职场文书
《长江之歌》教学反思
2014/04/17 职场文书
2015年店长工作总结范文
2015/04/08 职场文书
Python快速优雅的批量修改Word文档样式
2021/05/20 Python
Logback 使用TurboFilter实现日志级别等内容的动态修改操作
2021/08/30 Java/Android
阿里云服务器部署mongodb的详细过程
2021/09/04 MongoDB