Python文本处理之按行处理大文件的方法


Posted in Python onApril 09, 2018

以行的形式读出一个文件最简单的方式是使用文件对象的readline()、readlines()和xreadlines()方法。

Python2.2+为这种频繁的操作提供了一个简化的语法——让文件对象自身在行上高效迭代(这种迭代是严格的向前的)。

为了读取整个文件,可能要使用read()方法,且使用字符串的split()来将它拆分WEIGHT行或其他块。

下面是一些例子:

>>> for line in open('chap1.txt'): # Python 2.2+
  ...  # process each line in some manner
  ...  pass
  ...
  >>> linelist = open('chap1.txt').readlines()
  >>> print linelist[1849],
  EXERCISE: Working with lines from a large file
  >>> txt = open('chap1.txt').read()
  >>> from os import linesep
  >>> linelist2 = txt.split(linesep)

如果文件不大,读取整个文件内容也没有关系。但如果是大文件,时间和内存就是要重点关注的了。比如,复杂文档或者活动日志文件,通常有上M,甚至很多G的大小。就算这些文件的内容没有超出可用内存的尺寸,读取他们仍然是相当耗时的。

很明显,如果你需要处理文件的每一行,那就必须读取整个文件;如果可以按序列处理,xreadlines方法是一种更节约内存的方法。但是对于那些仅仅需要一个大文件的一部分行的应用,要获得提高其实并不难。对于这一点,模块“linecache”非常合适。

具有缓存功能的行列表

使用linecache可以直接从一个文件中读取指定行:

>>> import linecache
  >>> print linecache.getline('chap1.txt',1850),
  PROBLEM: Working with lines from a large file

记住,linecache.getline()的计数是从1开始的。

如果有一个即具有“linecache”的效率,又有列表的一些功能的对象就好了。这个对象不仅可以枚举和索引,同时还支持切片。

#------------------ cachedlinelist.py --------------------#
  import linecache, types
  class CachedLineList:
   # Note: in Python 2.2+, it is probably worth including:
   # __slots__ = ('_fname')
   # ...and inheriting from 'object'
   def __init__(self, fname):
    self._fname = fname
   def __getitem__(self, x):
    if type(x) is types.SliceType:
     return [linecache.getline(self._fname, n+1)
       for n in range(x.start, x.stop, x.step)]
    else:
     return linecache.getline(self._fname, x+1)
   def __getslice__(self, beg, end):
    # pass to __getitem__ which does extended slices also
    return self[beg:end:1]

使用这个新对象几乎和使用一个由“open(fname).readlines()”创建的列表一样。除了它的效率要更高之外(特别是在内存使用方面):

>>> from cachedlinelist import CachedLineList
  >>> cll = CachedLineList('../chap1.txt')
  >>> cll[1849]
  ' PROBLEM: Working with lines from a large file\r\n'
  >>> for line in cll[1849:1851]: print line,
  ...
  PROBLEM: Working with lines from a large file
  ----------------------------------------------------------
  >>> for line in cll[1853:1857:2]: print line,
  ...
  a matter of using the '.readline()', '.readlines()' and
  simplified syntax for this frequent operation by letting the

随机行

有时候,特别是为了测试,可能需要检查某些典型的行。人们很容易就误认为一个对文本的前面几行和后面几行有效的处理就能适用任何其他地方。很不幸,很多文件的前几行和最后几行通常都是非典型的:有时候是消息头或注脚,有时候可能是开发时的日志文件的前几行等等。穷举测试整个文件并不是你想要的,通常这样也非常的耗时。

在大多数系统上,查找一个文件中的特定位置要比读出该位置前的所有内容直到到达该位置快的多。

就算使用linecache,要到达缓存行,你也需要一个字节一个字节的读取前面的内容。从一个大文件中找随机行的最快的方式是,先找到一个随机位置,然后读取该位置相对前后的少数字节。

#-------------------- randline.py ------------------------#
  #!/usr/bin/python
  """Iterate over random lines in a file (req Python 2.2+)
  From command-line use: % randline.py <fname> <numlines>
  """
  import sys
  from os import stat, linesep
  from stat import ST_SIZE
  from random import randrange
  MAX_LINE_LEN = 4096
  #-- Iterable class
  class randline(object):
   __slots__ = ('_fp','_size','_limit')
   def __init__(self, fname, limit=sys.maxint):
    self._size = stat(fname)[ST_SIZE]
    self._fp = open(fname,'rb')
    self._limit = limit
   def __iter__(self):
    return self
   def next(self):
    if self._limit <= 0:
     raise StopIteration
    self._limit -= 1
    pos = randrange(self._size)
    priorlen = min(pos, MAX_LINE_LEN) # maybe near start
    self._fp.seek(pos-priorlen)
    # Add extra linesep at beg/end in case pos at beg/end
    prior = linesep + self._fp.read(priorlen)
    post = self._fp.read(MAX_LINE_LEN) + linesep
    begln = prior.rfind(linesep) + len(linesep)
    endln = post.find(linesep)
    return prior[begln:]+post[:endln]
  #-- Use as command-line tool
  if __name__=='__main__':
   fname, numlines = sys.argv[1], int(sys.argv[2])
   for line in randline(fname, numlines):
    print line

关于上面的实现,需要注意以下细节:

(1)在行迭代中,相同的行可能会被多次选中。当然,如果你只是从大文件中选很少行的话,这种情况通常不会出现。

(2)既然是选中包含随机位置的行,那就意味着更 有可能选择长的行(译注:这是为什么?没有明白)。

本文翻译自Text Processing in Python

中“PROBLEM: Working with lines from a large file”

以上这篇Python文本处理之按行处理大文件的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python性能优化的20条建议
Oct 25 Python
Django的信号机制详解
May 05 Python
python微信跳一跳系列之自动计算跳一跳距离
Feb 26 Python
Python基本数据结构与用法详解【列表、元组、集合、字典】
Mar 23 Python
详解Matplotlib绘图之属性设置
Aug 23 Python
使用python代码进行身份证号校验的实现示例
Nov 21 Python
python requests模拟登陆github的实现方法
Dec 26 Python
Python+OpenCV实现旋转文本校正方式
Jan 09 Python
解决Keras中Embedding层masking与Concatenate层不可调和的问题
Jun 18 Python
pycharm中选中一个单词替换所有重复单词的实现方法
Nov 17 Python
python 实现mysql自动增删分区的方法
Apr 01 Python
Python中异常处理用法
Nov 27 Python
Python网络编程使用select实现socket全双工异步通信功能示例
Apr 09 #Python
Python网络编程之TCP套接字简单用法示例
Apr 09 #Python
python3 读写文件换行符的方法
Apr 09 #Python
Python基于TCP实现会聊天的小机器人功能示例
Apr 09 #Python
Python生成任意范围任意精度的随机数方法
Apr 09 #Python
python网络爬虫学习笔记(1)
Apr 09 #Python
Python中defaultdict与lambda表达式用法实例小结
Apr 09 #Python
You might like
虫族 Zerg 魔法科技
2020/03/14 星际争霸
php实现的仿阿里巴巴实现同类产品翻页
2009/12/11 PHP
php Xdebug 调试扩展的安装与使用.
2010/03/13 PHP
深入密码加salt原理的分析
2013/06/06 PHP
浅析关于PHP位运算的简单权限设计
2013/06/30 PHP
destoon供应信息title调用出公司名称的方法
2014/08/22 PHP
VPS中使用LNMP安装WordPress教程
2014/12/28 PHP
PHP转盘抽奖接口实例
2015/02/09 PHP
PHP实现linux命令tail -f
2016/02/22 PHP
jQuery 使用手册(二)
2009/09/23 Javascript
通过复制Table生成word和excel的javascript代码
2014/01/20 Javascript
JS延时提示框实现方法详解
2015/11/26 Javascript
微信小程序开发的四十个技术窍门总结(推荐)
2017/01/23 Javascript
JavaScript 网页中实现一个计算当年还剩多少时间的倒数计时程序
2017/01/25 Javascript
BootStrap selectpicker后台动态绑定数据
2017/06/01 Javascript
详解React-Native全球化多语言切换工具库react-native-i18n
2017/11/03 Javascript
深入理解 Koa 框架中间件原理
2018/10/18 Javascript
python 域名分析工具实现代码
2009/07/15 Python
Python获取运行目录与当前脚本目录的方法
2015/06/01 Python
举例讲解Python设计模式编程中对抽象工厂模式的运用
2016/03/02 Python
Python简单生成随机姓名的方法示例
2017/12/27 Python
django表单实现下拉框的示例讲解
2018/05/29 Python
python 对类的成员函数开启线程的方法
2019/01/22 Python
python3中利用filter函数输出小于某个数的所有回文数实例
2019/11/24 Python
python except异常处理之后不退出,解决异常继续执行的实现
2020/04/25 Python
Python3.7下安装pyqt5的方法步骤(图文)
2020/05/12 Python
浅谈Python描述数据结构之KMP篇
2020/09/06 Python
Pytorch模型迁移和迁移学习,导入部分模型参数的操作
2021/03/03 Python
介绍一下Ruby的多线程处理
2013/02/01 面试题
优秀研究生自我鉴定
2013/12/04 职场文书
母婴店促销方案
2014/03/05 职场文书
《三顾茅庐》教学反思
2014/04/10 职场文书
赔偿协议书范本
2014/04/15 职场文书
《夜莺的歌声》教学反思
2016/02/22 职场文书
2016年读书月活动总结范文
2016/04/06 职场文书
详解Python内置模块Collections
2022/03/22 Python