python读取几个G的csv文件方法


Posted in Python onJanuary 07, 2019

如下所示:

import pandas as pd
file = pd.read_csv('file.csv',iterator=True)
while True:
  chunk = file.get_chunk(1000)
  print(chunk.head(10))
  print(chunk.tail(10))

以上这篇python读取几个G的csv文件方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python json模块使用实例
Apr 11 Python
在Python中测试访问同一数据的竞争条件的方法
Apr 23 Python
使用PDB简单调试Python程序简明指南
Apr 25 Python
CentOS中使用virtualenv搭建python3环境
Jun 08 Python
Python字符编码判断方法分析
Jul 01 Python
python实现键盘控制鼠标移动
Nov 27 Python
对Python3 * 和 ** 运算符详解
Feb 16 Python
使用python-Jenkins批量创建及修改jobs操作
May 12 Python
Python测试框架:pytest学习笔记
Oct 20 Python
通过实例解析python and和or使用方法
Nov 14 Python
python3列表删除大量重复元素remove()方法的问题详解
Jan 04 Python
python自动化操作之动态验证码、滑动验证码的降噪和识别
Aug 30 Python
实时获取Python的print输出流方法
Jan 07 #Python
Python 运行 shell 获取输出结果的实例
Jan 07 #Python
在python 中实现运行多条shell命令
Jan 07 #Python
Python之使用adb shell命令启动应用的方法详解
Jan 07 #Python
python 对多个csv文件分别进行处理的方法
Jan 07 #Python
python 同时运行多个程序的实例
Jan 07 #Python
python实现将多个文件分配到多个文件夹的方法
Jan 07 #Python
You might like
PHP应用JSON技巧讲解
2013/02/03 PHP
PHP中大于2038年时间戳的问题处理方案
2015/03/03 PHP
PHP给源代码加密的几种方法汇总(推荐)
2018/02/06 PHP
PHP给源代码加密的几种方法汇总(推荐)
2018/02/06 PHP
php+redis实现商城秒杀功能
2020/11/19 PHP
PHP获取访问设备信息的方法示例
2019/02/20 PHP
ASP Json Parser修正版
2009/12/06 Javascript
JS俄罗斯方块,包含完整的设计理念
2010/12/11 Javascript
jQuery 源码分析笔记(3) Deferred机制
2011/06/19 Javascript
JavaScript起点(严格模式深度了解)
2013/01/28 Javascript
JavaScript移除数组元素减少长度的方法
2013/09/05 Javascript
jquery()函数的三种语法介绍
2013/10/09 Javascript
JavaScript类型系统之Object详解
2016/01/07 Javascript
Bootstrap每天必学之折叠(Collapse)插件
2016/04/25 Javascript
深入浅析JavaScript的API设计原则
2016/06/14 Javascript
Angular.js中ng-if、ng-show和ng-hide的区别介绍
2017/01/20 Javascript
基于bootstrap实现bootstrap中文网巨幕效果
2017/05/02 Javascript
兼容浏览器的js事件绑定函数(详解)
2017/05/09 Javascript
JS声明对象时属性名加引号与不加引号的问题及解决方法
2018/02/16 Javascript
解决vue同一slot在组件中渲染多次的问题
2018/09/06 Javascript
vue中实现点击按钮滚动到页面对应位置的方法(使用c3平滑属性实现)
2019/12/29 Javascript
javascript单张多张图无缝滚动实例代码
2020/05/10 Javascript
Element中Slider滑块的具体使用
2020/07/29 Javascript
vue实现简易计算器功能
2021/01/20 Vue.js
[01:19:23]2018DOTA2亚洲邀请赛 4.5 淘汰赛 Mineski vs VG 第二场
2018/04/06 DOTA
使用Python读写文本文件及编写简单的文本编辑器
2016/03/11 Python
Python import与from import使用及区别介绍
2018/09/06 Python
通过celery异步处理一个查询任务的完整代码
2019/11/19 Python
pytorch 状态字典:state_dict使用详解
2020/01/17 Python
python打包多类型文件的操作方法
2020/09/21 Python
美国职棒大联盟官方网上商店:MLBShop.com
2017/11/12 全球购物
入党思想汇报
2014/01/05 职场文书
《二泉映月》教学反思
2014/04/15 职场文书
俞敏洪励志演讲稿
2014/04/29 职场文书
工伤事故赔偿协议书(标准)
2014/09/29 职场文书
解决Golang中ResponseWriter的一个坑
2021/04/27 Golang