python数据处理之如何选取csv文件中某几行的数据


Posted in Python onSeptember 02, 2019

前言

有些人看到这个问题觉得不是问题,是嘛,不就是df.col[]函数嘛,其实忽略了一个重点,那就是我们要省去把csv文件全部读取这个过程,因为如果在面临亿万级别的大规模数据,得到的结果就是boom,boom,boom。

我们要使用一下现成的函数里面的参数nrows,和skiprows,一个代表你要读几行,一个代表你从哪开始读,这就可以了,比如从第3行读取4个

示例代码

import pandas as pd
df = pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9],'b':[22,33,44,55,66,77,88,99,10]})
df.to_csv('test.csv')
dt = pd.read_csv('test.csv',skiprows=5,nrows=3)
 
print(dt)
 
 
out:
 4 5 66
0 5 6 77
1 6 7 88
2 7 8 99
3 8 9 10

就可以了,不过这个列头不知道是怎么回事,顺便如果想根据列值找index,可以参考下面的

然后

df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)
 
 
df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)

问题得到了解决

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
python基于隐马尔可夫模型实现中文拼音输入
Apr 01 Python
为Python的Tornado框架配置使用Jinja2模板引擎的方法
Jun 30 Python
使用Python的Flask框架表单插件Flask-WTF实现Web登录验证
Jul 12 Python
利用Python中unittest实现简单的单元测试实例详解
Jan 09 Python
Python内建函数之raw_input()与input()代码解析
Oct 26 Python
Pandas实现数据类型转换的一些小技巧汇总
May 07 Python
关于sys.stdout和print的区别详解
Dec 05 Python
python每5分钟从kafka中提取数据的例子
Dec 23 Python
Python 实现OpenCV格式和PIL.Image格式互转
Jan 09 Python
python实现图像拼接
Mar 05 Python
PyTorch加载自己的数据集实例详解
Mar 18 Python
Python利用for循环打印星号三角形的案例
Apr 12 Python
Python流程控制 while循环实现解析
Sep 02 #Python
Python中list循环遍历删除数据的正确方法
Sep 02 #Python
python中matplotlib条件背景颜色的实现
Sep 02 #Python
Python3批量移动指定文件到指定文件夹方法示例
Sep 02 #Python
Python流程控制 if else实现解析
Sep 02 #Python
Python 变量的创建过程详解
Sep 02 #Python
python脚本之一键移动自定格式文件方法实例
Sep 02 #Python
You might like
开启PHP Static 关键字之旅模式
2015/11/13 PHP
基于Laravel-admin 后台的自定义页面用法详解
2019/09/30 PHP
PHP终止脚本运行三种实现方法详解
2020/09/01 PHP
用于判断用户注册时,密码强度的JS代码
2009/01/01 Javascript
js getElementsByTagName的简写方式
2010/06/27 Javascript
javascript学习之闭包分析
2010/12/02 Javascript
jQueryUI写一个调整分类的拖放效果实现代码
2012/05/10 Javascript
JavaScript原型链示例分享
2014/01/26 Javascript
基于Jquery实现键盘按键监听
2014/05/11 Javascript
jQuery判断复选框是否勾选的原理及示例
2014/05/21 Javascript
js中自定义方法实现停留几秒sleep
2014/07/11 Javascript
javascript实现动态加载CSS
2015/01/26 Javascript
javascript面向对象程序设计(一)
2015/01/29 Javascript
通过JS判断联网类型和连接状态的实现代码
2015/04/01 Javascript
EasyUI中在表单提交之前进行验证
2016/07/19 Javascript
Angular 4依赖注入学习教程之ValueProvider的使用(七)
2017/06/04 Javascript
Javascript实现跨域后台设置拦截的方法详解
2017/08/04 Javascript
详解设置Webstorm 利用babel将ES6自动转码成ES5
2017/12/20 Javascript
Webpack 之 babel-loader文件预处理器详解
2018/03/23 Javascript
解决angular双向绑定无效果,ng-model不能正常显示的问题
2018/10/02 Javascript
基于JavaScript实现轮播图效果
2021/01/02 Javascript
python使用PyV8执行javascript代码示例分享
2013/12/04 Python
python中cPickle用法例子分享
2014/01/03 Python
浅析AST抽象语法树及Python代码实现
2016/06/06 Python
Python实现的维尼吉亚密码算法示例
2018/04/12 Python
Python实现的简单线性回归算法实例分析
2018/12/26 Python
Falsk 与 Django 过滤器的使用与区别详解
2019/06/04 Python
Python的信号库Blinker用法详解
2020/12/31 Python
CSS实现聊天气泡效果
2020/04/26 HTML / CSS
协议书样本
2014/04/23 职场文书
再婚婚前财产协议书范本
2014/10/19 职场文书
毕业典礼邀请函
2015/01/31 职场文书
2015年体育教师个人工作总结
2015/05/12 职场文书
如何判断pytorch是否支持GPU加速
2021/06/01 Python
python 实现两个变量值进行交换的n种操作
2021/06/02 Python
Mysql systemctl start mysqld报错的问题解决
2021/06/03 MySQL