python分块读取大数据,避免内存不足的方法


Posted in Python onDecember 10, 2018

如下所示:

def read_data(file_name):
 '''
 file_name:文件地址
 '''
 inputfile = open(file_name, 'rb') #可打开含有中文的地址
 data = pd.read_csv(inputfile, iterator=True)
 loop = True
 chunkSize = 1000 #一千行一块
 chunks = []
 while loop:
  try:
   chunk = dcs.get_chunk(chunkSize)
   chunks.append(chunk)
  except StopIteration:
   loop = False
   print("Iteration is stopped.")
 data = pd.concat(chunks, ignore_index=True)
 #print(train.head())
 return data

以上这篇python分块读取大数据,避免内存不足的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
深入浅析Python传值与传址
Jul 10 Python
python将类似json的数据存储到MySQL中的实例
Jul 12 Python
Python搭建代理IP池实现检测IP的方法
Oct 27 Python
关于numpy中eye和identity的区别详解
Nov 29 Python
TensorFlow基本的常量、变量和运算操作详解
Feb 03 Python
python 实现字符串下标的输出功能
Feb 13 Python
Python中用pyinstaller打包时的图标问题及解决方法
Feb 17 Python
如何在mac下配置python虚拟环境
Jul 06 Python
python opencv实现简易画图板
Aug 27 Python
python 深度学习中的4种激活函数
Sep 18 Python
Python实现曲线拟合的最小二乘法
Feb 19 Python
Python if else条件语句形式详解
Mar 24 Python
Python 文本文件内容批量抽取实例
Dec 10 #Python
Python中作用域的深入讲解
Dec 10 #Python
python实现根据文件关键字进行切分为多个文件的示例
Dec 10 #Python
Python文件常见操作实例分析【读写、遍历】
Dec 10 #Python
一篇文章搞懂Python的类与对象名称空间
Dec 10 #Python
django使用LDAP验证的方法示例
Dec 10 #Python
python在TXT文件中按照某一字符串取出该字符串所在的行方法
Dec 10 #Python
You might like
php HtmlReplace输入过滤安全函数
2010/07/03 PHP
Zend Studio 实用快捷键一览表(精心整理)
2013/08/10 PHP
yii2 在控制器中验证请求参数的使用方法
2019/06/19 PHP
ie 调试javascript的工具
2009/04/29 Javascript
jquery聚焦文本框与扩展文本框聚焦方法
2012/10/12 Javascript
在javaScript中关于submit和button的区别介绍
2013/10/20 Javascript
jquery获取一组checkbox的值(实例代码)
2013/11/04 Javascript
深入理解JavaScript是如何实现继承的
2013/12/12 Javascript
js整数字符串转换为金额类型数据(示例代码)
2013/12/26 Javascript
iframe窗口高度自适应的实现方法
2014/01/08 Javascript
Firefox下无法正常显示年份的解决方法
2014/09/04 Javascript
js中flexible.js实现淘宝弹性布局方案
2020/06/23 Javascript
基于jQuery的Web上传插件Uploadify使用示例
2016/05/19 Javascript
NodeJS简单实现WebSocket功能示例
2018/02/10 NodeJs
实现Vue的markdown文档可以在线运行的方法示例
2018/12/11 Javascript
微信小程序整合使用富文本编辑器的方法详解
2019/04/25 Javascript
微信小程序全局变量的设置、使用、修改过程解析
2019/09/24 Javascript
javascript操作向表格中动态加载数据
2020/08/27 Javascript
Pyinstaller将py打包成exe的实例
2018/03/31 Python
Python系统监控模块psutil功能与经典用法分析
2018/05/24 Python
python版本五子棋的实现代码
2018/12/11 Python
python print输出延时,让其立刻输出的方法
2019/01/07 Python
Python3 中sorted() 函数的用法
2020/03/24 Python
阿联酋最好的手机、电子产品和家用电器网上商店:Eros Digital Home
2020/08/09 全球购物
阿里巴巴Oracle DBA笔试题答案-备份恢复类
2013/11/20 面试题
教师求职推荐信范文
2013/11/20 职场文书
十佳党员事迹材料
2014/08/28 职场文书
2014年房产经纪人工作总结
2014/12/08 职场文书
社区党风廉政建设调研报告
2015/01/01 职场文书
公司给客户的感谢信
2015/01/23 职场文书
安徽导游词
2015/02/12 职场文书
党支部对转正的意见
2015/06/02 职场文书
植物园观后感
2015/06/11 职场文书
基于Go Int转string几种方式性能测试
2021/04/28 Golang
聊一聊python常用的编程模块
2021/05/14 Python
Golang标准库syscall详解(什么是系统调用)
2021/05/25 Golang