简单了解Python读取大文件代码实例


Posted in Python onDecember 18, 2019

这篇文章主要介绍了简单了解Python读取大文件代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

通常对于大文件读取及处理,不可能直接加载到内存中,因此进行分批次小量读取及处理

I、第一种读取方式

一行一行的读取,速度较慢

def read_line(path):
  with open(path, 'r', encoding='utf-8') as fout:
    line = fout.readline()
    while line:
      line = fout.readline()
      print(line)

II、第二种读取方式

设置每次读取大小,从而完成多行快速读取

def read_size(path):
  with open(path, "r", encoding='utf-8') as fout:
    while 1:
      buffer = fout.read(8 * 1024 * 1024)
      if not buffer:
        break
      print(buffer)

III、第三种读取方式

使用itertools模块,islice返回的是一个生成器,可以用list格式化

from itertools import islice
def read_itertools(path):
  with open(path, 'r', encoding='utf-8') as fout:
    list_gen = islice(fout, 0, 5) # 两个参数分别表示开始行和结束行
    for line in list_gen:
      print(line)

完成

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
RC4文件加密的python实现方法
Jun 30 Python
Python的Flask框架中的Jinja2模板引擎学习教程
Jun 30 Python
Python3使用PyQt5制作简单的画板/手写板实例
Oct 19 Python
python探索之BaseHTTPServer-实现Web服务器介绍
Oct 28 Python
django定期执行任务(实例讲解)
Nov 03 Python
对Python实现简单的API接口实例讲解
Dec 10 Python
Python匿名函数及应用示例
Apr 09 Python
Python实现连接MySql数据库及增删改查操作详解
Apr 16 Python
Python计算两个矩形重合面积代码实例
Sep 16 Python
基于Python脚本实现邮件报警功能
May 20 Python
python 抓取知乎指定回答下视频的方法
Jul 09 Python
Python函数式编程中itertools模块详解
Sep 15 Python
python 比较2张图片的相似度的方法示例
Dec 18 #Python
使用Python的Turtle库绘制森林的实例
Dec 18 #Python
python3 requests库实现多图片爬取教程
Dec 18 #Python
在notepad++中实现直接运行python代码
Dec 18 #Python
简单了解python装饰器原理及使用方法
Dec 18 #Python
修改Pandas的行或列的名字(重命名)
Dec 18 #Python
Python3直接爬取图片URL并保存示例
Dec 18 #Python
You might like
php下用cookie统计用户访问网页次数的代码
2010/05/09 PHP
php使用ereg验证文件上传的方法
2014/12/16 PHP
CodeIgniter配置之routes.php用法实例分析
2016/01/19 PHP
Yii2框架数据库简单的增删改查语法小结
2016/08/31 PHP
Zend Framework入门教程之Zend_Config组件用法详解
2016/12/09 PHP
apache集成php7.3.5的详细步骤
2019/06/20 PHP
Laravel框架源码解析之反射的使用详解
2020/05/14 PHP
如何在Mozilla Gecko 用Javascript加载XSL
2007/01/09 Javascript
使用javascript创建快捷方式的简单实例
2013/08/09 Javascript
js购物车实现思路及代码(个人感觉不错)
2013/12/23 Javascript
JS+CSS实现大气的黑色首页导航菜单效果代码
2015/09/10 Javascript
非常棒的jQuery图片轮播效果
2016/04/17 Javascript
jQuery使用Layer弹出层插件闪退问题
2016/12/22 Javascript
完美解决input[type=number]无法显示非数字字符的问题
2017/02/28 Javascript
JS数组去重常用方法实例小结【4种方法】
2018/05/28 Javascript
JS开发常用工具函数(小结)
2019/07/04 Javascript
js编写简易的计算器
2020/07/29 Javascript
[01:03:31]DOTA2上海特级锦标赛B组资格赛#1 Alliance VS Fnatic第二局
2016/02/26 DOTA
python通过post提交数据的方法
2015/05/06 Python
python中将正则过滤的内容输出写入到文件中的实例
2018/10/21 Python
Python 词典(Dict) 加载与保存示例
2019/12/06 Python
记一次django内存异常排查及解决方法
2020/08/07 Python
如何向scrapy中的spider传递参数的几种方法
2020/11/18 Python
用CSS3的box-reflect设置文字倒影效果的方法讲解
2016/03/07 HTML / CSS
Web前端页面跳转并取到值
2017/04/24 HTML / CSS
马来西亚在线药房:RoyalePharma
2019/12/01 全球购物
在Ajax应用中信息是如何在浏览器和服务器之间传递的
2016/05/31 面试题
亲子读书活动方案
2014/02/22 职场文书
大学生创业计划书怎么写
2014/09/15 职场文书
干部作风建设年活动剖析材料
2014/10/23 职场文书
优秀班主任申报材料
2014/12/16 职场文书
教师个人培训总结
2015/02/11 职场文书
学校勤俭节约倡议书
2015/04/29 职场文书
运动会通讯稿50字
2015/07/20 职场文书
python中的被动信息搜集
2021/04/29 Python
python字符串的多行输出的实例详解
2021/06/08 Python