linecache模块加载和缓存文件内容详解


Posted in Python onJanuary 11, 2018

linecache模块

接触到linecache这个模块是因为前两天读attrs源码的时候看到内部代码引用了这个模块来模拟一个假文件,带着一脸疑问顺便读了一下这个模块的源码,发现其实也就那么回事儿,代码不多,在这总结一下。

linecache模块可以读取文件并将文件内容缓存起来,方便后面多次读取。这个模块原本被设计用来读取Python模块的源代码,所以当一个文件名不在指定路径下的时候,模块会通过搜索路径(search path)来尝试读取文件。

接口

linecache模块的__all__参数其实只提供了getline/clearcache/checkcache三个接口,但实际上可以使用的不止这些,下面我会对所有接口逐个进行介绍。

linecache.getline(filename, lineno, module_globals=None)

获取指定文件的某一行,filename指定文件名、lineno指定行号、module_globals用于指定模块的上下文我也不知道怎么称呼,姑且称为上下文吧,最后一个参数其实到会传到linecache.updatecache()里,用于尝试使用__loader__加载文件,一般情况下不会用到最后一个参数,忽略即可。当行号小于一或大于文件最大行号时函数直接返回空字符串。

linecache.clearcache()

清空所有缓存,注意是所有。

linecache.checkcache(filename=None)

这个函数用于检查缓存,如果文件的大小或者修改时间有变化,会把文件原先的缓存删除,如果文件是懒加载的则保持不变。当filename为None时检查缓存中的所有文件。

以下是没写进模块__all__参数的接口。

linecache.lazycache(filename, module_globals)

对指定文件使用懒加载,启用懒加载成功的文件会在实际调用获取内容的接口时才将文件内容加载进内存,使用这个可以避免多余的文件IO。返回值为一个布尔值,当懒加载成功时返回True,如果文件内容已经实际加载进内存或者加载失败则返回False。

这个函数的module_globals参数是必填的,其实就是传入要加载文件对应模块的上下文。比如加载linecache模块,则传入linecache.__dict__或者vars(linecache)(目前只想到这两种方法,当然你要自己构建一个字典传进去也是可以的)。然后函数会根据上下文获取__loader__的get_source函数保存到缓存中。这个函数是在Python3.5后新增的。

linecache.updatecache(filename, module_globals=None)

这个函数是整个模块的核心,用于更新文件缓存并返回文件内容。函数中间任何一个环节出错了会返回一个空列表。

对于普通文件,内部使用tokenize.open()函数用于打开文件,检测文件的编码并使用检测到的编码打开文件,如果缺失编码默认使用UTF-8。如果给定路径无法打开文件则使用sys.path指定的路径尝试加载。如果文件内容的最后一行不带\n,会自动在最后一个字符加上\n。

对于懒加载的文件,则调用懒加载时保存的get_source函数获取文件内容。

注意:linecache在打开文件之后使用readlines一次性加载所有文件内容,所以在文件很多或者文件太大时会出现问题,所以还是应该谨慎使用。

linecache.getlines(filename, module_globals=None)

获取文件所有内容,如果文件尚未加载或者是懒加载,会调用linecache.updatecache()加载文件内容,如果出现MemoryError则清空缓存。linecache.getline()其实内部就是调用了这个函数。

linecache.cache

这是一个字典,所有文件的缓存就存在这里面。字典的Key是你读取时传入的filename,Value是一个保存了文件大小、修改时间、内容、名字的元组,当文件为懒加载时则是对应__loader__的get_source函数。

总结

Python标准库内置了很多基础模块,平时不会注意到,但是总有一些别的代码会依赖到这些基础设施,像标准库里的pdb和traceback都有用到linecache模块。这里面其实有不少代码是能加以利用的,平时多多读源码,会有惊喜的。

以上就是本文关于linecache模块加载和缓存文件内容详解的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
在 Django/Flask 开发服务器上使用 HTTPS
Jul 03 Python
简单介绍Python中的JSON模块
Apr 08 Python
Python基于DES算法加密解密实例
Jun 03 Python
python实现给数组按片赋值的方法
Jul 28 Python
关于Python面向对象编程的知识点总结
Feb 14 Python
Python2.7基于淘宝接口获取IP地址所在地理位置的方法【测试可用】
Jun 07 Python
python虚拟环境virtualenv的使用教程
Oct 20 Python
Python读取properties配置文件操作示例
Mar 29 Python
python中实现将多个print输出合成一个数组
Apr 19 Python
linux安装Python3.4.2的操作方法
Sep 28 Python
selenium + python 获取table数据的示例讲解
Oct 13 Python
Python 使用SFTP和FTP实现对服务器的文件下载功能
Dec 17 Python
Python实现将MySQL数据库表中的数据导出生成csv格式文件的方法
Jan 11 #Python
python+django+sql学生信息管理后台开发
Jan 11 #Python
hmac模块生成加入了密钥的消息摘要详解
Jan 11 #Python
快速了解Python中的装饰器
Jan 11 #Python
简单了解python模块概念
Jan 11 #Python
100行Python代码实现自动抢火车票(附源码)
Jan 11 #Python
python实现外卖信息管理系统
Jan 11 #Python
You might like
php记录日志的实现代码
2011/08/08 PHP
PHP调试函数和日志记录函数分享
2015/01/31 PHP
PHP简单判断手机设备的方法
2016/08/23 PHP
PHP获取访问页面HTTP状态码的实现代码
2016/11/03 PHP
php闭包中使用use声明变量的作用域实例分析
2018/08/09 PHP
Laravel框架学习笔记之批量更新数据功能
2019/05/30 PHP
HTML中Select不用Disabled实现ReadOnly的效果
2008/04/07 Javascript
js父窗口关闭时子窗口随之关闭完美解决方案
2014/04/29 Javascript
用box固定长宽实现图片自动轮播js代码
2014/06/09 Javascript
jquery超简单实现手风琴效果的方法
2015/06/05 Javascript
javascript实现简单的ajax封装示例
2016/12/28 Javascript
JavaScript Uploadify文件上传实例
2017/02/28 Javascript
利用node.js实现反向代理的方法详解
2017/07/24 Javascript
js限制输入框只能输入数字(onkeyup触发)
2018/09/28 Javascript
Vue用v-for给循环标签自身属性添加属性值的方法
2018/10/18 Javascript
js中事件对象和事件委托的介绍
2019/01/21 Javascript
vue实现购物车小案例
2019/09/27 Javascript
JavaScript中的Proxy对象
2020/11/27 Javascript
简单总结Python中序列与字典的相同和不同之处
2016/01/19 Python
详解python使用递归、尾递归、循环三种方式实现斐波那契数列
2018/01/16 Python
matplotlib绘图实例演示标记路径
2018/01/23 Python
对Python中list的倒序索引和切片实例讲解
2018/11/15 Python
Python 共享变量加锁、释放详解
2019/08/28 Python
Python 中@property的用法详解
2020/01/15 Python
五款漂亮的纯CSS3动画按钮的实例教程
2014/11/21 HTML / CSS
如何获取某个日期是当月的最后一天
2013/12/05 面试题
转党组织关系介绍信
2014/01/08 职场文书
领导干部廉政承诺书
2014/03/27 职场文书
毕业论文致谢范文
2015/05/14 职场文书
民事诉讼答辩状范文
2015/05/21 职场文书
委托收款证明
2015/06/23 职场文书
考研经验交流会策划书
2015/11/02 职场文书
2016大学生党校学习心得体会
2016/01/06 职场文书
浅谈MySQL表空间回收的正确姿势
2021/10/05 MySQL
win10更新失败无限重启解决方法
2022/04/19 数码科技
Oracle使用别名的好处
2022/04/19 Oracle