Python文本处理之按行处理大文件的方法


Posted in Python onApril 09, 2018

以行的形式读出一个文件最简单的方式是使用文件对象的readline()、readlines()和xreadlines()方法。

Python2.2+为这种频繁的操作提供了一个简化的语法——让文件对象自身在行上高效迭代(这种迭代是严格的向前的)。

为了读取整个文件,可能要使用read()方法,且使用字符串的split()来将它拆分WEIGHT行或其他块。

下面是一些例子:

>>> for line in open('chap1.txt'): # Python 2.2+
  ...  # process each line in some manner
  ...  pass
  ...
  >>> linelist = open('chap1.txt').readlines()
  >>> print linelist[1849],
  EXERCISE: Working with lines from a large file
  >>> txt = open('chap1.txt').read()
  >>> from os import linesep
  >>> linelist2 = txt.split(linesep)

如果文件不大,读取整个文件内容也没有关系。但如果是大文件,时间和内存就是要重点关注的了。比如,复杂文档或者活动日志文件,通常有上M,甚至很多G的大小。就算这些文件的内容没有超出可用内存的尺寸,读取他们仍然是相当耗时的。

很明显,如果你需要处理文件的每一行,那就必须读取整个文件;如果可以按序列处理,xreadlines方法是一种更节约内存的方法。但是对于那些仅仅需要一个大文件的一部分行的应用,要获得提高其实并不难。对于这一点,模块“linecache”非常合适。

具有缓存功能的行列表

使用linecache可以直接从一个文件中读取指定行:

>>> import linecache
  >>> print linecache.getline('chap1.txt',1850),
  PROBLEM: Working with lines from a large file

记住,linecache.getline()的计数是从1开始的。

如果有一个即具有“linecache”的效率,又有列表的一些功能的对象就好了。这个对象不仅可以枚举和索引,同时还支持切片。

#------------------ cachedlinelist.py --------------------#
  import linecache, types
  class CachedLineList:
   # Note: in Python 2.2+, it is probably worth including:
   # __slots__ = ('_fname')
   # ...and inheriting from 'object'
   def __init__(self, fname):
    self._fname = fname
   def __getitem__(self, x):
    if type(x) is types.SliceType:
     return [linecache.getline(self._fname, n+1)
       for n in range(x.start, x.stop, x.step)]
    else:
     return linecache.getline(self._fname, x+1)
   def __getslice__(self, beg, end):
    # pass to __getitem__ which does extended slices also
    return self[beg:end:1]

使用这个新对象几乎和使用一个由“open(fname).readlines()”创建的列表一样。除了它的效率要更高之外(特别是在内存使用方面):

>>> from cachedlinelist import CachedLineList
  >>> cll = CachedLineList('../chap1.txt')
  >>> cll[1849]
  ' PROBLEM: Working with lines from a large file\r\n'
  >>> for line in cll[1849:1851]: print line,
  ...
  PROBLEM: Working with lines from a large file
  ----------------------------------------------------------
  >>> for line in cll[1853:1857:2]: print line,
  ...
  a matter of using the '.readline()', '.readlines()' and
  simplified syntax for this frequent operation by letting the

随机行

有时候,特别是为了测试,可能需要检查某些典型的行。人们很容易就误认为一个对文本的前面几行和后面几行有效的处理就能适用任何其他地方。很不幸,很多文件的前几行和最后几行通常都是非典型的:有时候是消息头或注脚,有时候可能是开发时的日志文件的前几行等等。穷举测试整个文件并不是你想要的,通常这样也非常的耗时。

在大多数系统上,查找一个文件中的特定位置要比读出该位置前的所有内容直到到达该位置快的多。

就算使用linecache,要到达缓存行,你也需要一个字节一个字节的读取前面的内容。从一个大文件中找随机行的最快的方式是,先找到一个随机位置,然后读取该位置相对前后的少数字节。

#-------------------- randline.py ------------------------#
  #!/usr/bin/python
  """Iterate over random lines in a file (req Python 2.2+)
  From command-line use: % randline.py <fname> <numlines>
  """
  import sys
  from os import stat, linesep
  from stat import ST_SIZE
  from random import randrange
  MAX_LINE_LEN = 4096
  #-- Iterable class
  class randline(object):
   __slots__ = ('_fp','_size','_limit')
   def __init__(self, fname, limit=sys.maxint):
    self._size = stat(fname)[ST_SIZE]
    self._fp = open(fname,'rb')
    self._limit = limit
   def __iter__(self):
    return self
   def next(self):
    if self._limit <= 0:
     raise StopIteration
    self._limit -= 1
    pos = randrange(self._size)
    priorlen = min(pos, MAX_LINE_LEN) # maybe near start
    self._fp.seek(pos-priorlen)
    # Add extra linesep at beg/end in case pos at beg/end
    prior = linesep + self._fp.read(priorlen)
    post = self._fp.read(MAX_LINE_LEN) + linesep
    begln = prior.rfind(linesep) + len(linesep)
    endln = post.find(linesep)
    return prior[begln:]+post[:endln]
  #-- Use as command-line tool
  if __name__=='__main__':
   fname, numlines = sys.argv[1], int(sys.argv[2])
   for line in randline(fname, numlines):
    print line

关于上面的实现,需要注意以下细节:

(1)在行迭代中,相同的行可能会被多次选中。当然,如果你只是从大文件中选很少行的话,这种情况通常不会出现。

(2)既然是选中包含随机位置的行,那就意味着更 有可能选择长的行(译注:这是为什么?没有明白)。

本文翻译自Text Processing in Python

中“PROBLEM: Working with lines from a large file”

以上这篇Python文本处理之按行处理大文件的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Tornado服务器中绑定域名、虚拟主机的方法
Aug 22 Python
Python利用Nagios增加微信报警通知的功能
Feb 18 Python
Python的re模块正则表达式操作
May 25 Python
python基础教程项目三之万能的XML
Apr 02 Python
python3解析库lxml的安装与基本使用
Jun 27 Python
浅谈Python中的全局锁(GIL)问题
Jan 11 Python
python暴力解压rar加密文件过程详解
Jul 05 Python
详解如何用TensorFlow训练和识别/分类自定义图片
Aug 05 Python
详解python中index()、find()方法
Aug 29 Python
python multiprocessing多进程变量共享与加锁的实现
Oct 02 Python
python用类实现文章敏感词的过滤方法示例
Oct 27 Python
Python批量将图片灰度化的实现代码
Apr 11 Python
Python网络编程使用select实现socket全双工异步通信功能示例
Apr 09 #Python
Python网络编程之TCP套接字简单用法示例
Apr 09 #Python
python3 读写文件换行符的方法
Apr 09 #Python
Python基于TCP实现会聊天的小机器人功能示例
Apr 09 #Python
Python生成任意范围任意精度的随机数方法
Apr 09 #Python
python网络爬虫学习笔记(1)
Apr 09 #Python
Python中defaultdict与lambda表达式用法实例小结
Apr 09 #Python
You might like
php中比较简单的导入phpmyadmin生成的sql文件的方法
2011/06/28 PHP
PHP数据类型的总结分析
2013/06/13 PHP
Yii核心组件AssetManager原理分析
2014/12/02 PHP
CI框架使用composer安装的依赖包步骤与方法分析
2016/11/21 PHP
Paypal实现循环扣款(订阅)功能
2017/03/23 PHP
浅谈php常用的7大框架的优缺点
2020/07/20 PHP
纯js实现的论坛常用的运行代码的效果
2008/07/15 Javascript
js arguments.callee的应用代码
2009/05/07 Javascript
让你的博客飘雪花超出屏幕依然看得见
2013/01/04 Javascript
JS保留两位小数,多位小数的示例代码
2014/01/07 Javascript
JavaScript中的Math.E属性使用详解
2015/06/12 Javascript
javascript原生ajax写法分享
2016/04/10 Javascript
Jquery Easyui对话框组件Dialog使用详解(14)
2016/12/19 Javascript
JavaScript函数基础详解
2017/02/03 Javascript
jQuery实现 RadioButton做必选校验功能
2017/06/15 jQuery
[05:20]2018DOTA2亚洲邀请赛主赛事第三日战况回顾 LGD率先挺进胜者组决赛
2018/04/06 DOTA
python操作CouchDB的方法
2014/10/08 Python
Python入门篇之对象类型
2014/10/17 Python
Python实现简单状态框架的方法
2015/03/19 Python
Python正则表达式常用函数总结
2017/06/24 Python
PyCharm 常用快捷键和设置方法
2017/12/20 Python
python3将视频流保存为本地视频文件
2018/06/20 Python
对django中render()与render_to_response()的区别详解
2018/10/16 Python
如何用Python制作微信好友个性签名词云图
2019/06/28 Python
python jenkins 打包构建代码的示例代码
2019/11/29 Python
使用pandas读取表格数据并进行单行数据拼接的详细教程
2021/03/03 Python
RUIFIER官网:英国奢侈高级珠宝品牌
2020/06/12 全球购物
餐饮管理自我介绍信
2014/01/15 职场文书
小学新学期教师寄语
2014/01/18 职场文书
小学三年级数学教学反思
2014/01/31 职场文书
学校运动会广播稿100条
2014/09/14 职场文书
房屋所有权证明
2014/10/20 职场文书
2015年宣传部部长竞选演讲稿
2014/11/28 职场文书
鸟的天堂导游词
2015/01/31 职场文书
请客吃饭开场白
2015/06/01 职场文书
WINDOWS下安装mysql 8.x 的方法图文教程
2022/04/19 MySQL