python读取几个G的csv文件方法


Posted in Python onJanuary 07, 2019

如下所示:

import pandas as pd
file = pd.read_csv('file.csv',iterator=True)
while True:
  chunk = file.get_chunk(1000)
  print(chunk.head(10))
  print(chunk.tail(10))

以上这篇python读取几个G的csv文件方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python连接MySQL、MongoDB、Redis、memcache等数据库的方法
Nov 15 Python
pycharm 使用心得(六)进行简单的数据库管理
Jun 06 Python
python基于urllib实现按照百度音乐分类下载mp3的方法
May 25 Python
Python设置默认编码为utf8的方法
Jul 01 Python
Python编程实现使用线性回归预测数据
Dec 07 Python
浅谈Django自定义模板标签template_tags的用处
Dec 20 Python
Python常见排序操作示例【字典、列表、指定元素等】
Aug 15 Python
python之线程通过信号pyqtSignal刷新ui的方法
Jan 11 Python
Python多项式回归的实现方法
Mar 11 Python
对于Python深浅拷贝的理解
Jul 29 Python
Python基础类继承重写实现原理解析
Apr 03 Python
基于python实现检索标记敏感词并输出
May 07 Python
实时获取Python的print输出流方法
Jan 07 #Python
Python 运行 shell 获取输出结果的实例
Jan 07 #Python
在python 中实现运行多条shell命令
Jan 07 #Python
Python之使用adb shell命令启动应用的方法详解
Jan 07 #Python
python 对多个csv文件分别进行处理的方法
Jan 07 #Python
python 同时运行多个程序的实例
Jan 07 #Python
python实现将多个文件分配到多个文件夹的方法
Jan 07 #Python
You might like
全国FM电台频率大全 - 5 内蒙古自治区
2020/03/11 无线电
Zend Guard一些常见问题解答
2008/09/11 PHP
php Smarty模板生成html文档的方法
2010/04/12 PHP
PHP中extract()函数的定义和用法
2012/08/17 PHP
解析php常用image图像函数集
2013/06/24 PHP
PHP实现使用优酷土豆视频地址获取swf播放器分享地址
2014/06/05 PHP
[原创]php实现 data url的图片生成与保存
2016/12/04 PHP
ECMAScript6新增值比较函数Object.is
2015/06/12 Javascript
使用jQuery中的wrap()函数操作HTML元素的教程
2016/05/24 Javascript
AngularJs expression详解及简单示例
2016/09/01 Javascript
NodeJs安装npm包一直失败的解决方法
2017/04/28 NodeJs
JavaScript设计模式之代理模式详解
2017/06/09 Javascript
浅谈React深度编程之受控组件与非受控组件
2017/12/26 Javascript
微信小程序云开发修改云数据库中的数据方法
2019/05/18 Javascript
微信小程序模板消息推送的两种实现方式
2019/08/27 Javascript
node.js使用 http-proxy 创建代理服务器操作示例
2020/02/10 Javascript
JavaScript实现与web通信的方法详解
2020/08/07 Javascript
用smtplib和email封装python发送邮件模块类分享
2014/02/17 Python
在windows下快速搭建web.py开发框架方法
2016/04/22 Python
Python实现全角半角字符互转的方法
2016/11/28 Python
基于Python中单例模式的几种实现方式及优化详解
2018/01/09 Python
python PIL和CV对 图片的读取,显示,裁剪,保存实现方法
2019/08/07 Python
python实现超市管理系统(后台管理)
2019/10/25 Python
TensorFlow tf.nn.softmax_cross_entropy_with_logits的用法
2020/04/19 Python
MAC平台基于Python Appium环境搭建过程图解
2020/08/13 Python
Yummie官方网站:塑身衣和衣柜必需品
2019/10/29 全球购物
护士医德医风自我评价
2014/09/15 职场文书
群众路线自我剖析材料
2014/10/08 职场文书
安全先进个人材料
2014/12/29 职场文书
小学一年级数学教学计划
2015/01/20 职场文书
2016党员学习作风建设心得体会
2016/01/21 职场文书
大学生暑期社会实践的个人总结!
2019/07/17 职场文书
导游词之青岛太清宫
2019/12/13 职场文书
CSS3新特性详解(五):多列columns column-count和flex布局
2021/04/30 HTML / CSS
Pytorch GPU内存占用很高,但是利用率很低如何解决
2021/06/01 Python
Golang数据类型和相互转换
2022/04/12 Golang