python分块读取大数据,避免内存不足的方法


Posted in Python onDecember 10, 2018

如下所示:

def read_data(file_name):
 '''
 file_name:文件地址
 '''
 inputfile = open(file_name, 'rb') #可打开含有中文的地址
 data = pd.read_csv(inputfile, iterator=True)
 loop = True
 chunkSize = 1000 #一千行一块
 chunks = []
 while loop:
  try:
   chunk = dcs.get_chunk(chunkSize)
   chunks.append(chunk)
  except StopIteration:
   loop = False
   print("Iteration is stopped.")
 data = pd.concat(chunks, ignore_index=True)
 #print(train.head())
 return data

以上这篇python分块读取大数据,避免内存不足的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
详解Python2.x中对Unicode编码的使用
Apr 03 Python
Python注释详解
Jun 01 Python
详解python 发送邮件实例代码
Dec 22 Python
Python heapq使用详解及实例代码
Jan 25 Python
关于Python中空格字符串处理的技巧总结
Aug 10 Python
Python生成器generator用法示例
Aug 10 Python
Python+OpenCV感兴趣区域ROI提取方法
Jan 10 Python
Python 3.8中实现functools.cached_property功能
May 29 Python
Python进程池Pool应用实例分析
Nov 27 Python
基于python3抓取pinpoint应用信息入库
Jan 08 Python
Pytorch 定义MyDatasets实现多通道分别输入不同数据方式
Jan 15 Python
python使用建议与技巧分享(二)
Aug 17 Python
Python 文本文件内容批量抽取实例
Dec 10 #Python
Python中作用域的深入讲解
Dec 10 #Python
python实现根据文件关键字进行切分为多个文件的示例
Dec 10 #Python
Python文件常见操作实例分析【读写、遍历】
Dec 10 #Python
一篇文章搞懂Python的类与对象名称空间
Dec 10 #Python
django使用LDAP验证的方法示例
Dec 10 #Python
python在TXT文件中按照某一字符串取出该字符串所在的行方法
Dec 10 #Python
You might like
PHP+APACHE实现用户论证的方法
2006/10/09 PHP
解析yii数据库的增删查改
2013/06/20 PHP
php导出word文档与excel电子表格的简单示例代码
2014/03/08 PHP
使用Appcan客户端自动更新PHP版本号(全)
2015/07/31 PHP
slice函数的用法 之不错的应用
2006/12/29 Javascript
JavaScript 入门·JavaScript 具有全范围的运算符
2007/10/01 Javascript
Jquery ajax传递复杂参数给WebService的实现代码
2011/08/08 Javascript
Jquery实现带动画效果的经典二级导航菜单
2013/03/22 Javascript
JavaScript中对象属性的添加和删除示例
2014/05/12 Javascript
jQuery实现仿百度帖吧头部固定导航效果
2015/08/07 Javascript
基于JQuery实现分隔条的功能
2016/06/17 Javascript
JS树形菜单组件Bootstrap TreeView使用方法详解
2016/12/21 Javascript
jsonp跨域请求实现示例
2017/03/13 Javascript
jQuery插件HighCharts绘制简单2D柱状图效果示例【附demo源码】
2017/03/21 jQuery
单行 JS 实现移动端金钱格式的输入规则
2017/05/22 Javascript
jquery实现下拉菜单的手风琴效果
2017/07/23 jQuery
利用nodeJs anywhere搭建本地服务器环境的方法
2018/05/12 NodeJs
JS通过ajax + 多列布局 + 自动加载实现瀑布流效果
2019/05/30 Javascript
Vue+Koa2 打包后进行线上部署的教程详解
2019/07/31 Javascript
Vue-CLI项目中路由传参的方式详解
2019/09/01 Javascript
js实现内置计时器
2019/12/16 Javascript
Vue管理系统前端之组件拆分封装详解
2020/08/23 Javascript
python正则匹配抓取豆瓣电影链接和评论代码分享
2013/12/27 Python
简单介绍Python的Tornado框架中的协程异步实现原理
2015/04/23 Python
简单介绍Python中用于求最小值的min()方法
2015/05/15 Python
详解设计模式中的工厂方法模式在Python程序中的运用
2016/03/02 Python
python实现字符串完美拆分split()的方法
2019/07/16 Python
python运用pygame库实现双人弹球小游戏
2019/11/25 Python
python 实现二维列表转置
2019/12/02 Python
一个基于canvas的移动端图片编辑器的实现
2020/10/28 HTML / CSS
澳大利亚电商Catch新西兰站:Catch.co.nz
2020/05/30 全球购物
派出所正风肃纪剖析材料
2014/10/10 职场文书
2014年连锁店圣诞节活动方案
2014/12/09 职场文书
劳模事迹材料范文
2014/12/24 职场文书
导游词之京东大峡谷旅游区
2019/10/29 职场文书
使用CSS实现音波加载效果
2023/05/07 HTML / CSS