简单了解Python读取大文件代码实例


Posted in Python onDecember 18, 2019

这篇文章主要介绍了简单了解Python读取大文件代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

通常对于大文件读取及处理,不可能直接加载到内存中,因此进行分批次小量读取及处理

I、第一种读取方式

一行一行的读取,速度较慢

def read_line(path):
  with open(path, 'r', encoding='utf-8') as fout:
    line = fout.readline()
    while line:
      line = fout.readline()
      print(line)

II、第二种读取方式

设置每次读取大小,从而完成多行快速读取

def read_size(path):
  with open(path, "r", encoding='utf-8') as fout:
    while 1:
      buffer = fout.read(8 * 1024 * 1024)
      if not buffer:
        break
      print(buffer)

III、第三种读取方式

使用itertools模块,islice返回的是一个生成器,可以用list格式化

from itertools import islice
def read_itertools(path):
  with open(path, 'r', encoding='utf-8') as fout:
    list_gen = islice(fout, 0, 5) # 两个参数分别表示开始行和结束行
    for line in list_gen:
      print(line)

完成

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python采用Django制作简易的知乎日报API
Aug 03 Python
Python selenium 父子、兄弟、相邻节点定位方式详解
Sep 15 Python
详解numpy的argmax的具体使用
May 27 Python
Python 获取指定文件夹下的目录和文件的实现
Aug 30 Python
python图像处理模块Pillow的学习详解
Oct 09 Python
Python 中使用 PyMySQL模块操作数据库的方法
Nov 10 Python
根据tensor的名字获取变量的值方式
Jan 04 Python
Python如何向SQLServer存储二进制图片
Jun 08 Python
详解Python 循环嵌套
Jul 09 Python
Selenium之模拟登录铁路12306的示例代码
Jul 31 Python
python tqdm实现进度条的示例代码
Nov 10 Python
Python requests用法和django后台处理详解
Mar 19 Python
python 比较2张图片的相似度的方法示例
Dec 18 #Python
使用Python的Turtle库绘制森林的实例
Dec 18 #Python
python3 requests库实现多图片爬取教程
Dec 18 #Python
在notepad++中实现直接运行python代码
Dec 18 #Python
简单了解python装饰器原理及使用方法
Dec 18 #Python
修改Pandas的行或列的名字(重命名)
Dec 18 #Python
Python3直接爬取图片URL并保存示例
Dec 18 #Python
You might like
打造计数器DIY三步曲(中)
2006/10/09 PHP
php curl模拟post提交数据示例
2013/12/31 PHP
php实现根据字符串生成对应数组的方法
2014/09/22 PHP
php中异常处理方法小结
2015/01/09 PHP
PHP获取一段文本显示点阵宽度和高度的方法
2015/03/12 PHP
详解PHP的Yii框架中日志的相关配置及使用
2015/12/08 PHP
JavaScript中的其他对象
2008/01/16 Javascript
删除Javascript Object中间的key
2014/11/18 Javascript
javascript实现的闭包简单实例
2015/07/17 Javascript
JavaScript基础篇(6)之函数表达式闭包
2015/12/11 Javascript
Vue.JS入门教程之自定义指令
2016/12/08 Javascript
Jquery异步上传文件代码实例
2019/11/13 jQuery
谈谈我在vue-cli3中用预渲染遇到的坑
2020/04/22 Javascript
python中的hashlib和base64加密模块使用实例
2014/09/02 Python
在树莓派2或树莓派B+上安装Python和OpenCV的教程
2015/03/30 Python
安装dbus-python的简要教程
2015/05/05 Python
Python使用dis模块把Python反编译为字节码的用法详解
2016/06/14 Python
python3新特性函数注释Function Annotations用法分析
2016/07/28 Python
对Python中9种生成新对象的方法总结
2018/05/23 Python
Python django使用多进程连接mysql错误的解决方法
2018/10/08 Python
python json.loads兼容单引号数据的方法
2018/12/19 Python
如何分离django中的媒体、静态文件和网页
2019/11/12 Python
pytorch实现CNN卷积神经网络
2020/02/19 Python
后端开发使用pycharm的技巧(推荐)
2020/03/27 Python
解锁canvas导出图片跨域的N种姿势小结
2019/01/24 HTML / CSS
美国存储和组织商店:The Container Store
2017/08/16 全球购物
大专应届生个人简历的自我评价
2013/10/15 职场文书
电子商务专业个人的自我评价
2013/12/19 职场文书
工地资料员岗位职责
2013/12/31 职场文书
汽车队司机先进事迹材料
2014/02/01 职场文书
领导干部廉政承诺书
2014/03/27 职场文书
农村葬礼主持词
2014/03/31 职场文书
文案策划专业自荐信
2014/07/07 职场文书
2016年小学推普宣传周活动总结
2016/04/06 职场文书
nginx location中多个if里面proxy_pass的方法
2021/03/31 Servers
教你用Python爬取英雄联盟皮肤原画
2021/06/13 Python