linecache模块加载和缓存文件内容详解


Posted in Python onJanuary 11, 2018

linecache模块

接触到linecache这个模块是因为前两天读attrs源码的时候看到内部代码引用了这个模块来模拟一个假文件,带着一脸疑问顺便读了一下这个模块的源码,发现其实也就那么回事儿,代码不多,在这总结一下。

linecache模块可以读取文件并将文件内容缓存起来,方便后面多次读取。这个模块原本被设计用来读取Python模块的源代码,所以当一个文件名不在指定路径下的时候,模块会通过搜索路径(search path)来尝试读取文件。

接口

linecache模块的__all__参数其实只提供了getline/clearcache/checkcache三个接口,但实际上可以使用的不止这些,下面我会对所有接口逐个进行介绍。

linecache.getline(filename, lineno, module_globals=None)

获取指定文件的某一行,filename指定文件名、lineno指定行号、module_globals用于指定模块的上下文我也不知道怎么称呼,姑且称为上下文吧,最后一个参数其实到会传到linecache.updatecache()里,用于尝试使用__loader__加载文件,一般情况下不会用到最后一个参数,忽略即可。当行号小于一或大于文件最大行号时函数直接返回空字符串。

linecache.clearcache()

清空所有缓存,注意是所有。

linecache.checkcache(filename=None)

这个函数用于检查缓存,如果文件的大小或者修改时间有变化,会把文件原先的缓存删除,如果文件是懒加载的则保持不变。当filename为None时检查缓存中的所有文件。

以下是没写进模块__all__参数的接口。

linecache.lazycache(filename, module_globals)

对指定文件使用懒加载,启用懒加载成功的文件会在实际调用获取内容的接口时才将文件内容加载进内存,使用这个可以避免多余的文件IO。返回值为一个布尔值,当懒加载成功时返回True,如果文件内容已经实际加载进内存或者加载失败则返回False。

这个函数的module_globals参数是必填的,其实就是传入要加载文件对应模块的上下文。比如加载linecache模块,则传入linecache.__dict__或者vars(linecache)(目前只想到这两种方法,当然你要自己构建一个字典传进去也是可以的)。然后函数会根据上下文获取__loader__的get_source函数保存到缓存中。这个函数是在Python3.5后新增的。

linecache.updatecache(filename, module_globals=None)

这个函数是整个模块的核心,用于更新文件缓存并返回文件内容。函数中间任何一个环节出错了会返回一个空列表。

对于普通文件,内部使用tokenize.open()函数用于打开文件,检测文件的编码并使用检测到的编码打开文件,如果缺失编码默认使用UTF-8。如果给定路径无法打开文件则使用sys.path指定的路径尝试加载。如果文件内容的最后一行不带\n,会自动在最后一个字符加上\n。

对于懒加载的文件,则调用懒加载时保存的get_source函数获取文件内容。

注意:linecache在打开文件之后使用readlines一次性加载所有文件内容,所以在文件很多或者文件太大时会出现问题,所以还是应该谨慎使用。

linecache.getlines(filename, module_globals=None)

获取文件所有内容,如果文件尚未加载或者是懒加载,会调用linecache.updatecache()加载文件内容,如果出现MemoryError则清空缓存。linecache.getline()其实内部就是调用了这个函数。

linecache.cache

这是一个字典,所有文件的缓存就存在这里面。字典的Key是你读取时传入的filename,Value是一个保存了文件大小、修改时间、内容、名字的元组,当文件为懒加载时则是对应__loader__的get_source函数。

总结

Python标准库内置了很多基础模块,平时不会注意到,但是总有一些别的代码会依赖到这些基础设施,像标准库里的pdb和traceback都有用到linecache模块。这里面其实有不少代码是能加以利用的,平时多多读源码,会有惊喜的。

以上就是本文关于linecache模块加载和缓存文件内容详解的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
python的urllib模块显示下载进度示例
Jan 17 Python
Python编程实现双链表,栈,队列及二叉树的方法示例
Nov 01 Python
解决python nohup linux 后台运行输出的问题
May 11 Python
对python列表里的字典元素去重方法详解
Jan 21 Python
查看python安装路径及pip安装的包列表及路径
Apr 03 Python
Pytorch技巧:DataLoader的collate_fn参数使用详解
Jan 08 Python
没编程基础可以学python吗
Jun 17 Python
pycharm专业版远程登录服务器的详细教程
Sep 15 Python
Pytorch之扩充tensor的操作
Mar 04 Python
python生成随机数、随机字符、随机字符串
Apr 06 Python
Python+Selenium实现读取网易邮箱验证码
Mar 13 Python
python内置模块之上下文管理contextlib
Jun 14 Python
Python实现将MySQL数据库表中的数据导出生成csv格式文件的方法
Jan 11 #Python
python+django+sql学生信息管理后台开发
Jan 11 #Python
hmac模块生成加入了密钥的消息摘要详解
Jan 11 #Python
快速了解Python中的装饰器
Jan 11 #Python
简单了解python模块概念
Jan 11 #Python
100行Python代码实现自动抢火车票(附源码)
Jan 11 #Python
python实现外卖信息管理系统
Jan 11 #Python
You might like
php随机输出名人名言的代码
2012/10/07 PHP
PHP统计目录大小的自定义函数分享
2014/11/18 PHP
ThinkPHP3.2.1图片验证码实现方法
2016/08/19 PHP
php使用str_replace替换多维数组的实现方法分析
2017/06/15 PHP
PHP命名空间与自动加载类详解
2018/09/04 PHP
javascript innerHTML使用分析
2010/12/03 Javascript
JQuery 中几个类选择器的简单使用介绍
2013/03/14 Javascript
原生js实现shift/ctrl/alt按键的获取
2013/04/08 Javascript
jquery遍历之parent()和parents()的区别及parentsUntil()方法详解
2013/12/02 Javascript
Javascript 拖拽雏形(逐行分析代码,让你轻松了拖拽的原理)
2015/01/23 Javascript
jQuery图片轮播滚动切换代码分享
2020/04/20 Javascript
node.js入门实例helloworld详解
2015/12/23 Javascript
jQuery实现6位数字密码输入框
2016/12/29 Javascript
js is_valid_filename验证文件名的函数
2017/07/19 Javascript
基于JS实现带动画效果的流程进度条
2018/06/01 Javascript
nodejs require js文件入口,在package.json中指定默认入口main方法
2018/10/10 NodeJs
如何使用less实现随机下雪动画详解
2019/01/02 Javascript
浅谈vue 锚点指令v-anchor的使用
2019/11/13 Javascript
JS判断数组四种实现方法详解
2020/06/29 Javascript
pandas把dataframe转成Series,改变列中值的类型方法
2018/04/10 Python
使用python实现对元素的长截图功能
2019/11/14 Python
opencv之为图像添加边界的方法示例
2019/12/26 Python
css3遮罩层镂空效果的多种实现方法
2020/05/11 HTML / CSS
Html5 localStorage入门教程
2018/04/26 HTML / CSS
乌克兰在线商店的价格比较:Price.ua
2019/07/26 全球购物
印尼购物网站:iLOTTE
2019/10/16 全球购物
数据库面试要点基本概念
2013/10/31 面试题
德尔福集团DELPHI的笔试题
2012/02/22 面试题
大学生自荐信
2013/12/11 职场文书
元旦晚会上单位领导演讲稿
2014/01/05 职场文书
委托证明书
2014/09/17 职场文书
2014乡党委副书记党建工作汇报材料
2014/11/02 职场文书
CSS filter 有什么神奇用途
2021/05/25 HTML / CSS
深入理解以DEBUG方式线程的底层运行原理
2021/06/21 Java/Android
SQL试题 使用窗口函数选出连续3天登录的用户
2022/04/24 Oracle
python区块链持久化和命令行接口实现简版
2022/05/25 Python