python读取几个G的csv文件方法


Posted in Python onJanuary 07, 2019

如下所示:

import pandas as pd
file = pd.read_csv('file.csv',iterator=True)
while True:
  chunk = file.get_chunk(1000)
  print(chunk.head(10))
  print(chunk.tail(10))

以上这篇python读取几个G的csv文件方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现的简单hangman游戏实例
Jun 28 Python
Python实现包含min函数的栈
Apr 29 Python
Python MD5加密实例详解
Aug 02 Python
基于python requests库中的代理实例讲解
May 07 Python
Python wxPython库使用wx.ListBox创建列表框示例
Sep 03 Python
python 对多个csv文件分别进行处理的方法
Jan 07 Python
用python实现刷点击率的示例代码
Feb 21 Python
python pygame实现方向键控制小球
May 17 Python
树莓派使用python-librtmp实现rtmp推流h264的方法
Jul 22 Python
使用openCV去除文字中乱入的线条实例
Jun 02 Python
Python压缩模块zipfile实现原理及用法解析
Aug 14 Python
python 获取谷歌浏览器保存的密码
Jan 06 Python
实时获取Python的print输出流方法
Jan 07 #Python
Python 运行 shell 获取输出结果的实例
Jan 07 #Python
在python 中实现运行多条shell命令
Jan 07 #Python
Python之使用adb shell命令启动应用的方法详解
Jan 07 #Python
python 对多个csv文件分别进行处理的方法
Jan 07 #Python
python 同时运行多个程序的实例
Jan 07 #Python
python实现将多个文件分配到多个文件夹的方法
Jan 07 #Python
You might like
PHP学习之数组的定义和填充
2011/04/17 PHP
php array的学习笔记
2012/05/10 PHP
php中随机函数mt_rand()与rand()性能对比分析
2014/12/01 PHP
php带抄送和密件抄送的邮件发送方法
2015/03/20 PHP
PHP版本的选择5.2.17 5.3.27 5.3.28 5.4 5.5兼容性问题分析
2016/04/04 PHP
Yii1.1中通过Sql查询进行的分页操作方法
2017/03/16 PHP
深入浅析PHP的session反序列化漏洞问题
2017/06/15 PHP
JS事件在IE与FF中的区别详细解析
2013/11/20 Javascript
jquery中的ajax方法怎样通过JSONP进行远程调用
2014/05/04 Javascript
使用命令对象代替switch语句的写法示例
2015/02/28 Javascript
js 获取当前web应用的上下文路径实现方法
2016/08/19 Javascript
NodeJS遍历文件生产文件列表功能示例
2017/01/22 NodeJs
Angular2 组件通信的实例代码
2017/06/23 Javascript
详解为element-ui的Select和Cascader添加弹层底部操作按钮
2020/02/07 Javascript
在Python中操作列表之list.extend()方法的使用
2015/05/20 Python
详解Python发送邮件实例
2016/01/10 Python
Python爬虫获取整个站点中的所有外部链接代码示例
2017/12/26 Python
PyQt5打开文件对话框QFileDialog实例代码
2018/02/07 Python
Python之列表的插入&替换修改方法
2018/06/28 Python
一行代码让 Python 的运行速度提高100倍
2018/10/08 Python
Python设计模式之原型模式实例详解
2019/01/18 Python
Python3实现从排序数组中删除重复项算法分析
2019/04/03 Python
11个Python Pandas小技巧让你的工作更高效(附代码实例)
2019/04/30 Python
使用PyTorch将文件夹下的图片分为训练集和验证集实例
2020/01/08 Python
浅谈matplotlib 绘制梯度下降求解过程
2020/07/12 Python
Python+OpenCV图像处理——打印图片属性、设置存储路径、调用摄像头
2020/10/22 Python
C#中有没有静态构造函数,如果有是做什么用的?
2016/06/04 面试题
大学毕业感言100字
2014/02/03 职场文书
《雾凇》教学反思
2014/02/17 职场文书
年终总结会主持词
2014/03/25 职场文书
卫生系统先进事迹
2014/05/13 职场文书
员工保密协议书
2014/09/27 职场文书
党的群众路线教育实践活动个人对照检查材料(乡镇)
2014/11/05 职场文书
工作时间调整通知
2015/04/24 职场文书
干货:企业内部人才推荐奖励方案!
2019/07/09 职场文书
根德5570型九灯四波段立体声收音机是电子管收音机的楷模 ? 再论5570
2022/04/05 无线电