python数据处理之如何选取csv文件中某几行的数据


Posted in Python onSeptember 02, 2019

前言

有些人看到这个问题觉得不是问题,是嘛,不就是df.col[]函数嘛,其实忽略了一个重点,那就是我们要省去把csv文件全部读取这个过程,因为如果在面临亿万级别的大规模数据,得到的结果就是boom,boom,boom。

我们要使用一下现成的函数里面的参数nrows,和skiprows,一个代表你要读几行,一个代表你从哪开始读,这就可以了,比如从第3行读取4个

示例代码

import pandas as pd
df = pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9],'b':[22,33,44,55,66,77,88,99,10]})
df.to_csv('test.csv')
dt = pd.read_csv('test.csv',skiprows=5,nrows=3)
 
print(dt)
 
 
out:
 4 5 66
0 5 6 77
1 6 7 88
2 7 8 99
3 8 9 10

就可以了,不过这个列头不知道是怎么回事,顺便如果想根据列值找index,可以参考下面的

然后

df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)
 
 
df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)

问题得到了解决

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
在Python中用keys()方法返回字典键的教程
May 21 Python
Python键盘输入转换为列表的实例
Jun 23 Python
python去除拼音声调字母,替换为字母的方法
Nov 28 Python
使用Flask-Cache缓存实现给Flask提速的方法详解
Jun 11 Python
Python 实现OpenCV格式和PIL.Image格式互转
Jan 09 Python
详解Python3中的 input() 函数
Mar 18 Python
Python通过Pillow实现图片对比
Apr 29 Python
PyQt5连接MySQL及QMYSQL driver not loaded错误解决
Apr 29 Python
python:HDF和CSV存储优劣对比分析
Jun 08 Python
Django如何批量创建Model
Sep 01 Python
在PyCharm中安装PaddlePaddle的方法
Feb 05 Python
详解Python描述符的工作原理
Jun 11 Python
Python流程控制 while循环实现解析
Sep 02 #Python
Python中list循环遍历删除数据的正确方法
Sep 02 #Python
python中matplotlib条件背景颜色的实现
Sep 02 #Python
Python3批量移动指定文件到指定文件夹方法示例
Sep 02 #Python
Python流程控制 if else实现解析
Sep 02 #Python
Python 变量的创建过程详解
Sep 02 #Python
python脚本之一键移动自定格式文件方法实例
Sep 02 #Python
You might like
PHP的伪随机数与真随机数详解
2015/05/27 PHP
Laravel框架实现修改登录和注册接口数据返回格式的方法
2018/08/17 PHP
JavaScript Event学习第十章 一些可替换的事件对
2010/02/10 Javascript
Jquery动态更改一张位图的src与Attr的使用
2013/07/31 Javascript
jquery中load方法的用法及注意事项说明
2014/02/22 Javascript
Javascript实现div的toggle效果实例分析
2015/06/09 Javascript
jQuery验证插件validate使用详解
2016/05/11 Javascript
JavaScript实现类似拉勾网的鼠标移入移出效果
2016/10/27 Javascript
ES6中let、const的区别及变量的解构赋值操作方法实例分析
2019/10/15 Javascript
Node绑定全局TraceID的实现方法
2019/11/14 Javascript
Vue.js暴露方法给WebView的使用操作
2020/09/07 Javascript
[55:39]DOTA2-DPC中国联赛 正赛 VG vs LBZS BO3 第二场 1月19日
2021/03/11 DOTA
python实现朴素贝叶斯分类器
2018/03/28 Python
Python 将pdf转成图片的方法
2018/04/23 Python
Matplotlib中文乱码的3种解决方案
2018/11/15 Python
python中比较两个列表的实例方法
2019/07/04 Python
Python class的继承方法代码实例
2020/02/14 Python
使用PyCharm安装pytest及requests的问题
2020/07/31 Python
python 装饰器的使用示例
2020/10/10 Python
IE兼容css3圆角的实现代码
2011/07/21 HTML / CSS
CSS3 实现弹幕的示例代码
2017/08/07 HTML / CSS
HTML5 Canvas像素处理使用接口介绍
2012/12/02 HTML / CSS
Philosophy美国官网:美国美容品牌
2016/08/15 全球购物
delegate与普通函数的区别
2014/01/22 面试题
施惠特软件测试面试题以及笔试题
2015/05/13 面试题
办公室保洁员岗位职责
2013/12/02 职场文书
公司拓展活动方案
2014/02/13 职场文书
《小小竹排画中游》教学反思
2014/02/26 职场文书
孝敬父母的活动方案
2014/08/31 职场文书
爱岗敬业事迹材料
2014/12/24 职场文书
英文商务邀请函范文
2015/01/31 职场文书
销售经理岗位职责范本
2015/04/02 职场文书
2015年效能监察工作总结
2015/04/23 职场文书
关于倡议书的范文
2015/04/29 职场文书
小程序实现筛子抽奖
2021/05/26 Javascript
html5调用摄像头实例代码
2021/06/28 HTML / CSS