python数据处理之如何选取csv文件中某几行的数据


Posted in Python onSeptember 02, 2019

前言

有些人看到这个问题觉得不是问题,是嘛,不就是df.col[]函数嘛,其实忽略了一个重点,那就是我们要省去把csv文件全部读取这个过程,因为如果在面临亿万级别的大规模数据,得到的结果就是boom,boom,boom。

我们要使用一下现成的函数里面的参数nrows,和skiprows,一个代表你要读几行,一个代表你从哪开始读,这就可以了,比如从第3行读取4个

示例代码

import pandas as pd
df = pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9],'b':[22,33,44,55,66,77,88,99,10]})
df.to_csv('test.csv')
dt = pd.read_csv('test.csv',skiprows=5,nrows=3)
 
print(dt)
 
 
out:
 4 5 66
0 5 6 77
1 6 7 88
2 7 8 99
3 8 9 10

就可以了,不过这个列头不知道是怎么回事,顺便如果想根据列值找index,可以参考下面的

然后

df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)
 
 
df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)

问题得到了解决

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python2.x和3.x下maketrans与translate函数使用上的不同
Apr 13 Python
解决python3在anaconda下安装caffe失败的问题
Jun 15 Python
Python tkinter事件高级用法实例
Jan 31 Python
python实现二叉查找树实例代码
Feb 08 Python
基于Django框架利用Ajax实现点赞功能实例代码
Aug 19 Python
Python-接口开发入门解析
Aug 01 Python
Django REST framework 单元测试实例解析
Nov 07 Python
Python通过递归获取目录下指定文件代码实例
Nov 07 Python
利用pytorch实现对CIFAR-10数据集的分类
Jan 14 Python
自定义Django默认的sitemap站点地图样式
Mar 04 Python
使用SimpleITK读取和保存NIfTI/DICOM文件实例
Jul 01 Python
Pandas直接读取sql脚本的方法
Jan 21 Python
Python流程控制 while循环实现解析
Sep 02 #Python
Python中list循环遍历删除数据的正确方法
Sep 02 #Python
python中matplotlib条件背景颜色的实现
Sep 02 #Python
Python3批量移动指定文件到指定文件夹方法示例
Sep 02 #Python
Python流程控制 if else实现解析
Sep 02 #Python
Python 变量的创建过程详解
Sep 02 #Python
python脚本之一键移动自定格式文件方法实例
Sep 02 #Python
You might like
PHP创建桌面快捷方式的实例代码
2014/02/17 PHP
PHP开发框架kohana中处理ajax请求的例子
2014/07/14 PHP
PHP中让json_encode不自动转义斜杠“/”的方法
2017/02/28 PHP
PHP使用xpath解析XML的方法详解
2017/05/20 PHP
JavaScript onkeydown事件入门实例(键盘某个按键被按下)
2014/10/17 Javascript
Nodejs实现的一个静态服务器实例
2014/12/06 NodeJs
鼠标经过子元素触发mouseout,mouseover事件的解决方案
2015/07/26 Javascript
Bootstrap编写一个兼容主流浏览器的受众巨幕式风格页面
2016/07/01 Javascript
js判断手机系统是android还是ios
2017/03/07 Javascript
Node.js环境下Koa2添加travis ci持续集成工具的方法
2017/06/19 Javascript
Node.js中DNS模块学习总结
2018/02/28 Javascript
利用原生JS实现欢乐水果机小游戏
2020/04/23 Javascript
js实现小球在页面规定的区域运动
2020/06/16 Javascript
在vue中对数组值变化的监听与重新响应渲染操作
2020/07/17 Javascript
[01:48]DOTA2 2015国际邀请赛中国区预选赛第二日战报
2015/05/27 DOTA
[46:40]VGJ.T vs Winstrike 2018国际邀请赛小组赛BO2 第一场 8.17
2018/08/20 DOTA
初学python数组的处理代码
2011/01/04 Python
解决PySide+Python子线程更新UI线程的问题
2019/01/11 Python
基于python使用tibco ems代码实例
2019/12/20 Python
Tensorflow 1.0之后模型文件、权重数值的读取方式
2020/02/12 Python
浅谈spring boot 集成 log4j 解决与logback冲突的问题
2020/02/20 Python
浅谈keras中的Merge层(实现层的相加、相减、相乘实例)
2020/05/23 Python
让IE6、IE7、IE8支持CSS3的脚本
2010/07/20 HTML / CSS
一款利用html5和css3实现的3D滚动特效的教程
2015/01/04 HTML / CSS
CSS 说明横向进度条最后显示文字的实现代码
2020/11/10 HTML / CSS
瑞士网球商店:Tennis-Point
2020/03/12 全球购物
社团文化节邀请函
2014/01/10 职场文书
会计顶岗实习心得
2014/01/25 职场文书
献爱心活动总结
2014/05/07 职场文书
婚礼秀策划方案
2014/05/19 职场文书
委托培训协议书
2014/11/17 职场文书
思想品德评语大全
2014/12/31 职场文书
Redis持久化与主从复制的实践
2021/04/27 Redis
MySQL如何构建数据表索引
2021/05/13 MySQL
Redis如何使用乐观锁(CAS)保证数据一致性
2022/03/25 Redis
详解Spring Bean的配置方式与实例化
2022/06/10 Java/Android