Python内存映射文件读写方式


Posted in Python onApril 24, 2020

我就废话不多说了,还是直接看代码吧!

import os
import time
import mmap
 
filename = 'test.txt'
 
#如果不存在,创建。
if not os.path.exists(filename):
 open(filename, 'w')
 
print(os.path.isdir(filename))
if os.path.isfile(filename):
 print(time.ctime(os.path.getctime(filename)))
 
fd = os.open(filename, os.O_RDWR)
m = mmap.mmap(fd, 50, access=mmap.ACCESS_WRITE) # 1024字节的文件。
m.seek(2) 
buf1 = bytes(b'Zhang')
m[2:len(buf1)+2] = buf1
 
buf2 = b'Phil'
 
m.seek(20) # 定位写入的位置。
m.write(buf2) # 写入字节数据。
m.close()
 
fd = os.open(filename, os.O_RDWR)
m = mmap.mmap(fd, 50, access=mmap.ACCESS_READ)
m.seek(20)
buf3 = m.read(len(buf2))
m.close()
print(list(buf3))

操作后的test.txt文件内容:

Zhang Phil

补充知识:Python对二进制文件做内存映射,高效优雅地对内容随机访问

读写二进制文件还在使用open函数?

各种组合seek()、read()和write()累不累?

使用 mmap 模块实现对文件的内存映射,让我们读写二进制文件像操作数组一样高效优雅。

先给出一个实用函数,用来演示如何打开一个文件并对它进行内存映射操作。

def memory_map(filename, access=mmap.ACCESS_WRITE):
 size = os.path.getsize(filename)
 fd = os.open(filename, os.O_RDWR)
 return mmap.mmap(fd, size, access=access)

要使用这个函数,需要先准备一个已经创建好的文件并为之填充一些数据。

>>> size = 1000000
>>> with open('data','wb') as f:
  f.seek(size-1)
  f.write(b'\x00')

接着我们可以使用memory_map()函数对文件内容做内存映射,它返回的mmap对象可以让我们像操作数组一样读写二进制文件!

>>> m = memory_map('data')
>>> len(m)
1000000
>>> m[:10]
b'\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00'
>>> m[0]
0
>>> m[0:11]=b'Hello World'#改变一个切片
>>> m.close()
>>> with open('data','rb') as f:#验证改变已经生效
 print(f.read(11))
 
b'Hello World'

由于mmap()返回的mmap对象也可以当作上下文管理器使用,在这种情况下,底层的文件会自动关闭。

>>> with memory_map('data') as m:
 print(len(m))
 print(m[0:11])
 
1000000
b'Hello World'

默认情况下memory_map()函数打开的文件既可以读,也可以写。对数据的任何修改都会拷贝回原始的文件中。

如果需要只读访问,可以为access参数提供mmap.ACCESS_READ值。

m = memory_map(filename, mmap.ACCESS_READ)

如果只想要在本地修改数据,并不想将这些修改写回到原始文件中,可以使用mmap.ACCESS_COPY参数。

m = memory_map(filename, mmap.ACCESS_COPY)

总结:

通过mmap将文件映射到内存之后,我们可以高效并优雅地对文件的内容进行随机访问。

与其打开文件后通过组合各种seek()、read()和write()调用来访问,不如简单将文件映射到内存,然后通过切片操作来访问数据。

需要强调的是,对某个文件进行内存映射并不会导致将整个文件读到内存中。也就是说,文件并不会拷贝到某种内存缓冲区或数组上。相反,操作系统只是为文件内容保留一段虚拟内存而已。

当访问文件的不同区域时,文件的这些区域将被读取并按照需要映射到内存区域中。但是,文件中从未访问过的部分会简单地留在磁盘上。这一切都是以透明的方式在幕后完成的。

如果有多个Python解释器对同一个文件做了内存映射,得到的mmap对象可以用来在解释器之间交换数据。也就是说,所有的解释器可以同时读/写数据,在一个解释器中对数据做出的修改会自动反映到其他解释器上。

虽然还需要一些额外的步骤来处理同步问题,但是有时候可以使用这种方法作为通过管道或者socket传输数据的替代方案。

以上这篇Python内存映射文件读写方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python的dict,set,list,tuple应用详解
Jul 24 Python
用Python编写简单的微博爬虫
Mar 04 Python
Python模拟脉冲星伪信号频率实例代码
Jan 03 Python
Python实现字典(dict)的迭代操作示例
Jun 05 Python
python找出因数与质因数的方法
Jul 25 Python
python 二维矩阵转三维矩阵示例
Nov 30 Python
Python装饰器用法与知识点小结
Mar 09 Python
Python selenium 加载并保存QQ群成员,去除其群主、管理员信息的示例代码
May 28 Python
用python绘制樱花树
Oct 09 Python
如何将Pycharm中调整字体大小的方式设置为"ctrl+鼠标滚轮上下滑"
Nov 17 Python
Python利用folium实现地图可视化
May 23 Python
Pytorch中Softmax与LogSigmoid的对比分析
Jun 05 Python
pandas的resample重采样的使用
Apr 24 #Python
python实现在内存中读写str和二进制数据代码
Apr 24 #Python
pandas DataFrame 数据选取,修改,切片的实现
Apr 24 #Python
pandas数据选取:df[] df.loc[] df.iloc[] df.ix[] df.at[] df.iat[]
Apr 24 #Python
python查找特定名称文件并按序号、文件名分行打印输出的方法
Apr 24 #Python
python 读取二进制 显示图片案例
Apr 24 #Python
150行python代码实现贪吃蛇游戏
Apr 24 #Python
You might like
PHP代码实现爬虫记录――超管用
2015/07/31 PHP
PHP使用GD库制作验证码的方法(点击验证码或看不清会刷新验证码)
2017/08/15 PHP
PHP中16个高危函数整理
2019/09/19 PHP
laravel orm 关联条件查询代码
2019/10/21 PHP
刷新时清空文本框内容的js代码
2007/04/23 Javascript
DWR Ext 加载数据
2009/03/22 Javascript
jQuery在IE下使用未闭合的xml代码创建元素时的Bug介绍
2012/01/10 Javascript
JS中 用户登录系统的解决办法
2013/04/15 Javascript
js中apply方法的使用详细解析
2013/11/04 Javascript
用Jquery实现滚动新闻
2014/02/12 Javascript
完美兼容各大浏览器的jQuery仿新浪图文淡入淡出间歇滚动特效
2014/11/12 Javascript
javascript加载xml 并解析各节点的值(实现方法)
2016/10/12 Javascript
Node.js Express 框架 POST方法详解
2017/01/23 Javascript
Bootstrap选项卡学习笔记分享
2017/02/13 Javascript
react-router中的属性详解
2017/06/01 Javascript
require.js中的define函数详解
2017/07/10 Javascript
jQuery位置选择器用法实例分析
2019/06/28 jQuery
浅析Vue中拆分视图层代码的5点建议
2019/08/15 Javascript
Python中分数的相关使用教程
2015/03/30 Python
基于python实现的抓取腾讯视频所有电影的爬虫
2016/04/22 Python
Python基于二分查找实现求整数平方根的方法
2016/05/12 Python
python urllib爬取百度云连接的实例代码
2017/06/19 Python
python中os和sys模块的区别与常用方法总结
2017/11/14 Python
django模板结构优化的方法
2019/02/28 Python
手把手教你使用Python创建微信机器人
2019/04/29 Python
Python高级编程之消息队列(Queue)与进程池(Pool)实例详解
2019/11/01 Python
Python如何使用正则表达式爬取京东商品信息
2020/06/01 Python
Darphin迪梵官网: 来自巴黎,植物和精油调制的护肤品牌
2016/10/11 全球购物
ProBikeKit澳大利亚:自行车套件,跑步和铁人三项装备
2016/11/30 全球购物
美国单身专业人士在线约会网站:EliteSingles
2019/03/19 全球购物
运动员口号
2014/06/09 职场文书
经营理念口号
2014/06/21 职场文书
艾滋病宣传标语
2014/06/25 职场文书
超市采购员岗位职责
2015/04/07 职场文书
退休劳动合同怎么写?
2019/10/25 职场文书
python爬取某网站原图作为壁纸
2021/06/02 Python