简单了解Python读取大文件代码实例


Posted in Python onDecember 18, 2019

这篇文章主要介绍了简单了解Python读取大文件代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

通常对于大文件读取及处理,不可能直接加载到内存中,因此进行分批次小量读取及处理

I、第一种读取方式

一行一行的读取,速度较慢

def read_line(path):
  with open(path, 'r', encoding='utf-8') as fout:
    line = fout.readline()
    while line:
      line = fout.readline()
      print(line)

II、第二种读取方式

设置每次读取大小,从而完成多行快速读取

def read_size(path):
  with open(path, "r", encoding='utf-8') as fout:
    while 1:
      buffer = fout.read(8 * 1024 * 1024)
      if not buffer:
        break
      print(buffer)

III、第三种读取方式

使用itertools模块,islice返回的是一个生成器,可以用list格式化

from itertools import islice
def read_itertools(path):
  with open(path, 'r', encoding='utf-8') as fout:
    list_gen = islice(fout, 0, 5) # 两个参数分别表示开始行和结束行
    for line in list_gen:
      print(line)

完成

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python获取文件ssdeep值的方法
Oct 05 Python
python输出指定月份日历的方法
Apr 23 Python
python处理图片之PIL模块简单使用方法
May 11 Python
详解Django之admin组件的使用和源码剖析
May 04 Python
pandas数据清洗,排序,索引设置,数据选取方法
May 18 Python
Pandas 数据处理,数据清洗详解
Jul 10 Python
解决新django中的path不能使用正则表达式的问题
Dec 18 Python
Python基于Opencv来快速实现人脸识别过程详解(完整版)
Jul 11 Python
解决Django一个表单对应多个按钮的问题
Jul 18 Python
Django框架安装方法图文详解
Nov 04 Python
Python Pillow.Image 图像保存和参数选择方式
Jan 09 Python
pytorch实现线性回归以及多元回归
Apr 11 Python
python 比较2张图片的相似度的方法示例
Dec 18 #Python
使用Python的Turtle库绘制森林的实例
Dec 18 #Python
python3 requests库实现多图片爬取教程
Dec 18 #Python
在notepad++中实现直接运行python代码
Dec 18 #Python
简单了解python装饰器原理及使用方法
Dec 18 #Python
修改Pandas的行或列的名字(重命名)
Dec 18 #Python
Python3直接爬取图片URL并保存示例
Dec 18 #Python
You might like
php压缩HTML函数轻松实现压缩html/js/Css及注意事项
2013/01/27 PHP
PHP代码优化的53个细节
2014/03/03 PHP
完美实现wordpress禁止文章修订和自动保存的方法
2014/11/03 PHP
php数组去除空值函数分享
2015/02/02 PHP
ThinkPHP框架结合Ajax实现用户名校验功能示例
2019/07/03 PHP
JQuery 获取和设置Select选项的代码
2010/02/07 Javascript
JavaScript.The.Good.Parts阅读笔记(一)假值与===运算符
2010/11/16 Javascript
基于JQuery制作可编辑的表格特效
2014/12/23 Javascript
javascript实现uploadify上传格式以及个数限制
2015/11/23 Javascript
为什么JavaScript没有块级作用域
2016/05/22 Javascript
Vue 单文件中的数据传递示例
2017/03/21 Javascript
详解打造 Vue.js 可复用组件
2017/03/24 Javascript
JS实现获取word文档内容并输出显示到html页面示例
2018/06/23 Javascript
详解在Vue中使用TypeScript的一些思考(实践)
2018/07/06 Javascript
JavaScript实现连连看连线算法
2019/01/05 Javascript
bootstrap table实现横向合并与纵向合并
2019/07/18 Javascript
jQuery 淡入/淡出效果函数用法分析
2020/05/19 jQuery
[19:14]DOTA2 HEROS教学视频教你分分钟做大人-维萨吉
2014/06/24 DOTA
利用Python批量生成任意尺寸的图片
2016/08/29 Python
python中dict字典的查询键值对 遍历 排序 创建 访问 更新 删除基础操作方法
2018/09/13 Python
对Python中for复合语句的使用示例讲解
2018/11/01 Python
Python 实现输入任意多个数,并计算其平均值的例子
2019/07/16 Python
Python3操作Excel文件(读写)的简单实例
2019/09/02 Python
python实现串口通信的示例代码
2020/02/10 Python
python实现超级马里奥
2020/03/18 Python
python列表的逆序遍历实现
2020/04/20 Python
Java ExcutorService优雅关闭方式解析
2020/05/30 Python
Python 列表中的修改、添加和删除元素的实现
2020/06/11 Python
python 抓取知乎指定回答下视频的方法
2020/07/09 Python
Python高阶函数与装饰器函数的深入讲解
2020/11/10 Python
详解Open Folder as PyCharm Project怎么添加的方法
2020/12/29 Python
英国天然宝石首饰购买网站:Gemondo Jewellery
2018/10/23 全球购物
高级工程师岗位职责
2013/12/15 职场文书
2015年学校保卫部工作总结
2015/05/11 职场文书
少先队入队仪式主持词
2015/07/04 职场文书
MySQL大小写敏感的注意事项
2021/05/24 MySQL