简单了解Python读取大文件代码实例


Posted in Python onDecember 18, 2019

这篇文章主要介绍了简单了解Python读取大文件代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

通常对于大文件读取及处理,不可能直接加载到内存中,因此进行分批次小量读取及处理

I、第一种读取方式

一行一行的读取,速度较慢

def read_line(path):
  with open(path, 'r', encoding='utf-8') as fout:
    line = fout.readline()
    while line:
      line = fout.readline()
      print(line)

II、第二种读取方式

设置每次读取大小,从而完成多行快速读取

def read_size(path):
  with open(path, "r", encoding='utf-8') as fout:
    while 1:
      buffer = fout.read(8 * 1024 * 1024)
      if not buffer:
        break
      print(buffer)

III、第三种读取方式

使用itertools模块,islice返回的是一个生成器,可以用list格式化

from itertools import islice
def read_itertools(path):
  with open(path, 'r', encoding='utf-8') as fout:
    list_gen = islice(fout, 0, 5) # 两个参数分别表示开始行和结束行
    for line in list_gen:
      print(line)

完成

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用Python的Supervisor进行进程监控以及自动启动
May 29 Python
python实现的一个火车票转让信息采集器
Jul 09 Python
Python实现提取谷歌音乐搜索结果的方法
Jul 10 Python
Python使用pickle模块存储数据报错解决示例代码
Jan 26 Python
为什么Python中没有"a++"这种写法
Nov 27 Python
python实现播放音频和录音功能示例代码
Dec 30 Python
浅析python的Lambda表达式
Feb 27 Python
python3+PyQt5 使用三种不同的简便项窗口部件显示数据的方法
Jun 17 Python
pytorch实现建立自己的数据集(以mnist为例)
Jan 18 Python
Python集合操作方法详解
Feb 09 Python
Python对Tornado请求与响应的数据处理
Feb 12 Python
Python如何使用vars返回对象的属性列表
Oct 17 Python
python 比较2张图片的相似度的方法示例
Dec 18 #Python
使用Python的Turtle库绘制森林的实例
Dec 18 #Python
python3 requests库实现多图片爬取教程
Dec 18 #Python
在notepad++中实现直接运行python代码
Dec 18 #Python
简单了解python装饰器原理及使用方法
Dec 18 #Python
修改Pandas的行或列的名字(重命名)
Dec 18 #Python
Python3直接爬取图片URL并保存示例
Dec 18 #Python
You might like
PHP 第二节 数据类型之字符串类型
2012/04/28 PHP
基于JQuery+PHP编写砸金蛋中奖程序
2015/09/08 PHP
PHP strip_tags保留多个HTML标签的方法
2016/05/22 PHP
基于Jquery 解决Ajax请求的页面 浏览器后退前进功能,页面刷新功能实效问题
2010/12/11 Javascript
document.createElement()用法及注意事项(ff下不兼容)
2013/03/13 Javascript
js window.print实现打印特定控件或内容
2013/09/16 Javascript
jQuery如何获取同一个类标签的所有值(默认无法获取)
2014/09/25 Javascript
React实现双向绑定示例代码
2016/09/19 Javascript
对javascript继承的理解
2016/10/11 Javascript
基于jQuery实现的打字机效果
2017/01/16 Javascript
nodejs更改项目端口号的方法
2018/05/13 NodeJs
浅谈Vue.js组件(二)
2019/04/09 Javascript
[01:00:14]DOTA2-DPC中国联赛 正赛 Ehome vs Elephant BO3 第二场 2月28日
2021/03/11 DOTA
Python中的异常处理相关语句基础学习笔记
2016/07/11 Python
对pandas的行列名更改与数据选择详解
2018/11/12 Python
Python 中的 import 机制之实现远程导入模块
2019/10/29 Python
flask框架配置mysql数据库操作详解
2019/11/29 Python
Python 炫技操作之合并字典的七种方法
2020/04/10 Python
解决Python spyder显示不全df列和行的问题
2020/04/20 Python
Python文件操作模拟用户登陆代码实例
2020/06/09 Python
使用Pytorch搭建模型的步骤
2020/11/16 Python
5分钟快速掌握Python定时任务框架的实现
2021/01/26 Python
让IE可以变相支持CSS3选择器
2010/01/21 HTML / CSS
沪江旗下的海量优质课程平台:沪江网校
2017/11/07 全球购物
畜牧兽医本科生个人的自我评价
2013/10/11 职场文书
英语文学专业学生的自我评价
2013/10/31 职场文书
奥巴马英文演讲稿
2014/05/15 职场文书
文案策划专业自荐信
2014/07/07 职场文书
行政执法队伍作风整顿剖析材料
2014/10/11 职场文书
买房协议书范本
2014/10/23 职场文书
中标通知书格式
2015/04/17 职场文书
风之谷观后感
2015/06/11 职场文书
六一儿童节园长致辞
2015/07/31 职场文书
pytorch中的model.eval()和BN层的使用
2021/05/22 Python
Matplotlib绘制混淆矩阵的实现
2021/05/27 Python
Win11黑色桌面背景怎么办?Win11黑色壁纸解决方法汇总
2022/04/05 数码科技