Python文本处理之按行处理大文件的方法


Posted in Python onApril 09, 2018

以行的形式读出一个文件最简单的方式是使用文件对象的readline()、readlines()和xreadlines()方法。

Python2.2+为这种频繁的操作提供了一个简化的语法——让文件对象自身在行上高效迭代(这种迭代是严格的向前的)。

为了读取整个文件,可能要使用read()方法,且使用字符串的split()来将它拆分WEIGHT行或其他块。

下面是一些例子:

>>> for line in open('chap1.txt'): # Python 2.2+
  ...  # process each line in some manner
  ...  pass
  ...
  >>> linelist = open('chap1.txt').readlines()
  >>> print linelist[1849],
  EXERCISE: Working with lines from a large file
  >>> txt = open('chap1.txt').read()
  >>> from os import linesep
  >>> linelist2 = txt.split(linesep)

如果文件不大,读取整个文件内容也没有关系。但如果是大文件,时间和内存就是要重点关注的了。比如,复杂文档或者活动日志文件,通常有上M,甚至很多G的大小。就算这些文件的内容没有超出可用内存的尺寸,读取他们仍然是相当耗时的。

很明显,如果你需要处理文件的每一行,那就必须读取整个文件;如果可以按序列处理,xreadlines方法是一种更节约内存的方法。但是对于那些仅仅需要一个大文件的一部分行的应用,要获得提高其实并不难。对于这一点,模块“linecache”非常合适。

具有缓存功能的行列表

使用linecache可以直接从一个文件中读取指定行:

>>> import linecache
  >>> print linecache.getline('chap1.txt',1850),
  PROBLEM: Working with lines from a large file

记住,linecache.getline()的计数是从1开始的。

如果有一个即具有“linecache”的效率,又有列表的一些功能的对象就好了。这个对象不仅可以枚举和索引,同时还支持切片。

#------------------ cachedlinelist.py --------------------#
  import linecache, types
  class CachedLineList:
   # Note: in Python 2.2+, it is probably worth including:
   # __slots__ = ('_fname')
   # ...and inheriting from 'object'
   def __init__(self, fname):
    self._fname = fname
   def __getitem__(self, x):
    if type(x) is types.SliceType:
     return [linecache.getline(self._fname, n+1)
       for n in range(x.start, x.stop, x.step)]
    else:
     return linecache.getline(self._fname, x+1)
   def __getslice__(self, beg, end):
    # pass to __getitem__ which does extended slices also
    return self[beg:end:1]

使用这个新对象几乎和使用一个由“open(fname).readlines()”创建的列表一样。除了它的效率要更高之外(特别是在内存使用方面):

>>> from cachedlinelist import CachedLineList
  >>> cll = CachedLineList('../chap1.txt')
  >>> cll[1849]
  ' PROBLEM: Working with lines from a large file\r\n'
  >>> for line in cll[1849:1851]: print line,
  ...
  PROBLEM: Working with lines from a large file
  ----------------------------------------------------------
  >>> for line in cll[1853:1857:2]: print line,
  ...
  a matter of using the '.readline()', '.readlines()' and
  simplified syntax for this frequent operation by letting the

随机行

有时候,特别是为了测试,可能需要检查某些典型的行。人们很容易就误认为一个对文本的前面几行和后面几行有效的处理就能适用任何其他地方。很不幸,很多文件的前几行和最后几行通常都是非典型的:有时候是消息头或注脚,有时候可能是开发时的日志文件的前几行等等。穷举测试整个文件并不是你想要的,通常这样也非常的耗时。

在大多数系统上,查找一个文件中的特定位置要比读出该位置前的所有内容直到到达该位置快的多。

就算使用linecache,要到达缓存行,你也需要一个字节一个字节的读取前面的内容。从一个大文件中找随机行的最快的方式是,先找到一个随机位置,然后读取该位置相对前后的少数字节。

#-------------------- randline.py ------------------------#
  #!/usr/bin/python
  """Iterate over random lines in a file (req Python 2.2+)
  From command-line use: % randline.py <fname> <numlines>
  """
  import sys
  from os import stat, linesep
  from stat import ST_SIZE
  from random import randrange
  MAX_LINE_LEN = 4096
  #-- Iterable class
  class randline(object):
   __slots__ = ('_fp','_size','_limit')
   def __init__(self, fname, limit=sys.maxint):
    self._size = stat(fname)[ST_SIZE]
    self._fp = open(fname,'rb')
    self._limit = limit
   def __iter__(self):
    return self
   def next(self):
    if self._limit <= 0:
     raise StopIteration
    self._limit -= 1
    pos = randrange(self._size)
    priorlen = min(pos, MAX_LINE_LEN) # maybe near start
    self._fp.seek(pos-priorlen)
    # Add extra linesep at beg/end in case pos at beg/end
    prior = linesep + self._fp.read(priorlen)
    post = self._fp.read(MAX_LINE_LEN) + linesep
    begln = prior.rfind(linesep) + len(linesep)
    endln = post.find(linesep)
    return prior[begln:]+post[:endln]
  #-- Use as command-line tool
  if __name__=='__main__':
   fname, numlines = sys.argv[1], int(sys.argv[2])
   for line in randline(fname, numlines):
    print line

关于上面的实现,需要注意以下细节:

(1)在行迭代中,相同的行可能会被多次选中。当然,如果你只是从大文件中选很少行的话,这种情况通常不会出现。

(2)既然是选中包含随机位置的行,那就意味着更 有可能选择长的行(译注:这是为什么?没有明白)。

本文翻译自Text Processing in Python

中“PROBLEM: Working with lines from a large file”

以上这篇Python文本处理之按行处理大文件的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中字典和JSON互转操作实例
Jan 19 Python
pycharm安装图文教程
May 02 Python
Python建立Map写Excel表实例解析
Jan 17 Python
Python向MySQL批量插数据的实例讲解
Mar 31 Python
pycharm 在windows上编辑代码用linux执行配置的方法
Oct 27 Python
如何在django里上传csv文件并进行入库处理的方法
Jan 02 Python
python抓取搜狗微信公众号文章
Apr 01 Python
Python自动化运维之Ansible定义主机与组规则操作详解
Jun 13 Python
Python函数装饰器原理与用法详解
Aug 16 Python
使用python的turtle绘画滑稽脸实例
Nov 21 Python
Python 实现将numpy中的nan和inf,nan替换成对应的均值
Jun 08 Python
python+openCV对视频进行截取的实现
Nov 27 Python
Python网络编程使用select实现socket全双工异步通信功能示例
Apr 09 #Python
Python网络编程之TCP套接字简单用法示例
Apr 09 #Python
python3 读写文件换行符的方法
Apr 09 #Python
Python基于TCP实现会聊天的小机器人功能示例
Apr 09 #Python
Python生成任意范围任意精度的随机数方法
Apr 09 #Python
python网络爬虫学习笔记(1)
Apr 09 #Python
Python中defaultdict与lambda表达式用法实例小结
Apr 09 #Python
You might like
PHP中iconv函数知识汇总
2015/07/02 PHP
php实现博客,论坛图片防盗链的方法
2016/10/15 PHP
Swoole 5将移除自动添加Event::wait()特性详解
2019/07/10 PHP
CSS+Jquery实现页面圆角框方法大全
2009/12/24 Javascript
基于jquery的地址栏射击游戏代码
2011/03/10 Javascript
一些常用的JavaScript函数(json)附详细说明
2011/05/25 Javascript
AngularJS Module方法详解
2015/12/08 Javascript
node.js实现登录注册页面
2017/04/08 Javascript
AngularJS 异步解决实现方法
2017/06/12 Javascript
Iscrool下拉刷新功能实现方法(推荐)
2017/06/26 Javascript
基于JavaScript实现新增内容滚动播放效果附完整代码
2017/08/24 Javascript
JavaScript实现全选取消效果
2017/12/14 Javascript
解决vue单页使用keep-alive页面返回不刷新的问题
2018/03/13 Javascript
vue.js做一个简单的编辑菜谱功能
2018/05/08 Javascript
通过vue手动封装on、emit、off的代码详解
2019/05/29 Javascript
vue实现微信浏览器左上角返回按钮拦截功能
2020/01/18 Javascript
javascript实现页面的实时时钟显示示例
2020/08/06 Javascript
vue.js封装switch开关组件的操作
2020/10/26 Javascript
python对html代码进行escape编码的方法
2015/05/04 Python
Python Matplotlib库入门指南
2015/05/18 Python
Python中使用Queue和Condition进行线程同步的方法
2016/01/19 Python
python3 pillow生成简单验证码图片的示例
2017/09/19 Python
基于Python开发chrome插件的方法分析
2018/07/07 Python
python模拟键盘输入 切换键盘布局过程解析
2019/08/15 Python
对python while循环和双重循环的实例详解
2019/08/23 Python
Python numpy数组转置与轴变换
2019/11/15 Python
Python csv文件的读写操作实例详解
2019/11/19 Python
python导入库的具体方法
2020/06/18 Python
Python中正则表达式对单个字符,多个字符和匹配边界等使用
2021/01/27 Python
css3实现二维码扫描特效的示例
2020/10/29 HTML / CSS
Html5在手机端调用相机的方法实现
2020/05/13 HTML / CSS
Orvis官网:自1856年以来,优质服装、飞钓装备等
2018/12/17 全球购物
名人珠宝设计师:Melinda Maria Jewelry
2019/03/06 全球购物
Linux上比较文件的命令都有哪些
2013/09/28 面试题
效能风暴心得体会
2014/09/04 职场文书
Django路由层如何获取正确的url
2021/07/15 Python