python读取几个G的csv文件方法


Posted in Python onJanuary 07, 2019

如下所示:

import pandas as pd
file = pd.read_csv('file.csv',iterator=True)
while True:
  chunk = file.get_chunk(1000)
  print(chunk.head(10))
  print(chunk.tail(10))

以上这篇python读取几个G的csv文件方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
常用python数据类型转换函数总结
Mar 11 Python
pygame播放音乐的方法
May 19 Python
Java Web开发过程中登陆模块的验证码的实现方式总结
May 25 Python
基于Python和Scikit-Learn的机器学习探索
Oct 16 Python
python实现excel读写数据
Mar 02 Python
解决python3捕获cx_oracle抛出的异常错误问题
Oct 18 Python
pandas 使用均值填充缺失值列的小技巧分享
Jul 04 Python
如何在Django配置文件里配置session链接
Aug 06 Python
Tensorflow 多线程设置方式
Feb 06 Python
Python socket连接中的粘包、精确传输问题实例分析
Mar 24 Python
Python手拉手教你爬取贝壳房源数据的实战教程
May 21 Python
Python爬虫之自动爬取某车之家各车销售数据
Jun 02 Python
实时获取Python的print输出流方法
Jan 07 #Python
Python 运行 shell 获取输出结果的实例
Jan 07 #Python
在python 中实现运行多条shell命令
Jan 07 #Python
Python之使用adb shell命令启动应用的方法详解
Jan 07 #Python
python 对多个csv文件分别进行处理的方法
Jan 07 #Python
python 同时运行多个程序的实例
Jan 07 #Python
python实现将多个文件分配到多个文件夹的方法
Jan 07 #Python
You might like
PHP setcookie设置Cookie用法(及设置无效的问题)
2011/07/13 PHP
php curl基本操作详解
2013/07/23 PHP
个人写的PHP验证码生成类分享
2014/08/21 PHP
php编写的抽奖程序中奖概率算法
2015/05/14 PHP
Laravel第三方包报class not found的解决方法
2019/10/13 PHP
InnerHtml和InnerText的区别分析
2009/03/13 Javascript
Jquery 类网页微信二维码图块滚动效果具体实现
2013/10/14 Javascript
JavaScript版的TwoQueues缓存模型
2014/12/29 Javascript
javascript实现左右控制无缝滚动
2014/12/31 Javascript
javascript显示中文日期的方法
2015/06/18 Javascript
Node.js编程中客户端Session的使用详解
2015/06/23 Javascript
js判断图片加载完成后获取图片实际宽高的方法
2016/02/25 Javascript
JSONP原理及简单实现
2016/06/08 Javascript
浅谈js函数三种定义方式 & 四种调用方式 & 调用顺序
2017/02/19 Javascript
原生JS实现《别踩白块》游戏(兼容IE)
2017/02/20 Javascript
js调用刷新界面的几种方式
2017/05/03 Javascript
jQuery实现 RadioButton做必选校验功能
2017/06/15 jQuery
基于Nuxt.js项目的服务端性能优化与错误检测(容错处理)
2019/10/23 Javascript
vue中使用GraphQL的实例代码
2019/11/04 Javascript
vue中根据时间戳判断对应的时间(今天 昨天 前天)
2019/12/20 Javascript
[00:33]DOTA2上海特级锦标赛 CDEC战队宣传片
2016/03/04 DOTA
在Linux系统上部署Apache+Python+Django+MySQL环境
2015/12/24 Python
搭建Python的Django框架环境并建立和运行第一个App的教程
2016/07/02 Python
Python任意字符串转16, 32, 64进制的方法
2019/06/12 Python
Python 3.6 -win64环境安装PIL模块的教程
2019/06/20 Python
python安装scipy的步骤解析
2019/09/28 Python
阻止移动设备(手机、pad)浏览器双击放大网页的方法
2014/06/03 HTML / CSS
美国创意礼品网站:UncommonGoods
2017/02/03 全球购物
18-35岁旅游团的全球领导者:Contiki
2017/02/08 全球购物
研究生自我鉴定范文
2013/10/30 职场文书
结婚喜宴家长答谢词
2014/01/15 职场文书
测绘专业大学生职业生涯规划书
2014/02/10 职场文书
房屋出租协议书
2014/04/10 职场文书
创业计划书之青年旅馆
2019/09/23 职场文书
javascript的setTimeout()使用方法总结
2021/11/20 Javascript
Mysql开启外网访问
2022/05/15 MySQL