python分块读取大数据,避免内存不足的方法


Posted in Python onDecember 10, 2018

如下所示:

def read_data(file_name):
 '''
 file_name:文件地址
 '''
 inputfile = open(file_name, 'rb') #可打开含有中文的地址
 data = pd.read_csv(inputfile, iterator=True)
 loop = True
 chunkSize = 1000 #一千行一块
 chunks = []
 while loop:
  try:
   chunk = dcs.get_chunk(chunkSize)
   chunks.append(chunk)
  except StopIteration:
   loop = False
   print("Iteration is stopped.")
 data = pd.concat(chunks, ignore_index=True)
 #print(train.head())
 return data

以上这篇python分块读取大数据,避免内存不足的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
java直接调用python脚本的例子
Feb 16 Python
python数据结构之二叉树的遍历实例
Apr 29 Python
使用Python编写简单网络爬虫抓取视频下载资源
Nov 04 Python
零基础写python爬虫之打包生成exe文件
Nov 06 Python
Python 保存矩阵为Excel的实现方法
Jan 28 Python
Python Flask 搭建微信小程序后台详解
May 06 Python
你还在@微信官方?聊聊Python生成你想要的微信头像
Sep 25 Python
python多继承(钻石继承)问题和解决方法简单示例
Oct 21 Python
利用Python绘制有趣的万圣节南瓜怪效果
Oct 31 Python
python selenium自动化测试框架搭建的方法步骤
Jun 14 Python
Python 无限级分类树状结构生成算法的实现
Jan 21 Python
Python 语言实现六大查找算法
Jun 30 Python
Python 文本文件内容批量抽取实例
Dec 10 #Python
Python中作用域的深入讲解
Dec 10 #Python
python实现根据文件关键字进行切分为多个文件的示例
Dec 10 #Python
Python文件常见操作实例分析【读写、遍历】
Dec 10 #Python
一篇文章搞懂Python的类与对象名称空间
Dec 10 #Python
django使用LDAP验证的方法示例
Dec 10 #Python
python在TXT文件中按照某一字符串取出该字符串所在的行方法
Dec 10 #Python
You might like
PHP中在数据库中保存Checkbox数据(1)
2006/10/09 PHP
给多个地址发邮件的类
2006/10/09 PHP
PHP数组去重比较快的实现方式
2016/01/19 PHP
LAMP环境使用Composer安装Laravel的方法
2017/03/25 PHP
Jquery Uploadify上传带进度条的简单实例
2014/02/12 Javascript
javascript实现动态加载CSS
2015/01/26 Javascript
Javascript函数的参数
2015/07/16 Javascript
jquery实现自适应banner焦点图
2017/02/16 Javascript
bootstrap3使用bootstrap datetimepicker日期插件
2017/05/24 Javascript
node.js中cluster的使用教程
2017/06/09 Javascript
Vue 表单控件绑定的实现示例
2017/08/11 Javascript
angularjs实现过滤并替换关键字小功能
2017/09/19 Javascript
vue 路由页面之间实现用手指进行滑动的方法
2018/02/23 Javascript
webpack配置导致字体图标无法显示的解决方法
2018/03/06 Javascript
python判断图片宽度和高度后删除图片的方法
2015/05/22 Python
Python中实现最小二乘法思路及实现代码
2018/01/04 Python
Python切片工具pillow用法示例
2018/03/30 Python
Python使用APScheduler实现定时任务过程解析
2019/09/11 Python
pygame实现烟雨蒙蒙下彩虹雨
2019/11/11 Python
python通过opencv实现图片裁剪原理解析
2020/01/19 Python
pandas分组聚合详解
2020/04/10 Python
keras处理欠拟合和过拟合的实例讲解
2020/05/25 Python
python爬虫可以爬什么
2020/06/16 Python
python实现批量命名照片
2020/06/18 Python
Python在后台自动解压各种压缩文件的实现方法
2020/11/10 Python
英国在线定制百叶窗网站:Swift Direct Blinds
2020/02/25 全球购物
应届生自我鉴定
2013/12/11 职场文书
师范教师大学生职业生涯规划范文
2014/01/05 职场文书
档案接收函范文
2014/01/10 职场文书
雷锋式好少年事迹材料
2014/08/17 职场文书
后进生评语大全
2015/01/04 职场文书
2015年社区卫生工作总结
2015/04/21 职场文书
乡镇司法所2015年度工作总结
2015/10/14 职场文书
初一数学教学反思
2016/02/17 职场文书
MySQL中的引号和反引号的区别与用法详解
2021/10/24 MySQL
输入框跟随文字内容适配宽实现示例
2022/08/14 Javascript