python数据处理之如何选取csv文件中某几行的数据


Posted in Python onSeptember 02, 2019

前言

有些人看到这个问题觉得不是问题,是嘛,不就是df.col[]函数嘛,其实忽略了一个重点,那就是我们要省去把csv文件全部读取这个过程,因为如果在面临亿万级别的大规模数据,得到的结果就是boom,boom,boom。

我们要使用一下现成的函数里面的参数nrows,和skiprows,一个代表你要读几行,一个代表你从哪开始读,这就可以了,比如从第3行读取4个

示例代码

import pandas as pd
df = pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9],'b':[22,33,44,55,66,77,88,99,10]})
df.to_csv('test.csv')
dt = pd.read_csv('test.csv',skiprows=5,nrows=3)
 
print(dt)
 
 
out:
 4 5 66
0 5 6 77
1 6 7 88
2 7 8 99
3 8 9 10

就可以了,不过这个列头不知道是怎么回事,顺便如果想根据列值找index,可以参考下面的

然后

df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)
 
 
df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)

问题得到了解决

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python脚本实现集群检测和管理功能
Mar 06 Python
关于Python元祖,列表,字典,集合的比较
Jan 06 Python
Python利用QQ邮箱发送邮件的实现方法(分享)
Jun 09 Python
Python模拟登陆实现代码
Jun 14 Python
python变量赋值方法(可变与不可变)
Jan 12 Python
python tkinter canvas 显示图片的示例
Jun 13 Python
python使用opencv对图像mask处理的方法
Jul 05 Python
django的csrf实现过程详解
Jul 26 Python
使用tensorflow根据输入更改tensor shape
Jun 23 Python
python如何导出微信公众号文章方法详解
Aug 31 Python
Python‘==‘ 及 ‘is‘相关原理解析
Sep 05 Python
如何用Python提取10000份log中的产品信息
Jan 14 Python
Python流程控制 while循环实现解析
Sep 02 #Python
Python中list循环遍历删除数据的正确方法
Sep 02 #Python
python中matplotlib条件背景颜色的实现
Sep 02 #Python
Python3批量移动指定文件到指定文件夹方法示例
Sep 02 #Python
Python流程控制 if else实现解析
Sep 02 #Python
Python 变量的创建过程详解
Sep 02 #Python
python脚本之一键移动自定格式文件方法实例
Sep 02 #Python
You might like
PHP获取数组中重复最多的元素的实现方法
2014/11/11 PHP
PHP对文件进行加锁、解锁实例
2015/01/23 PHP
比较简单实用的使用正则三种版本的js去空格处理方法
2007/11/18 Javascript
基于jQuery UI CSS Framework开发Widget的经验
2010/08/21 Javascript
JQuery 图片的展开和伸缩实例讲解
2013/04/18 Javascript
WebView启动支付宝客户端支付失败的问题小结
2017/01/11 Javascript
js仿新浪微博消息发布功能
2017/02/17 Javascript
Webpack+Vue如何导入Jquery和Jquery的第三方插件
2017/02/20 Javascript
5分钟打造简易高效的webpack常用配置
2017/07/04 Javascript
Angularjs单选框相关的示例代码
2017/08/17 Javascript
Node.js dgram模块实现UDP通信示例代码
2017/09/26 Javascript
Vue 自定义动态组件实例详解
2018/03/28 Javascript
使用vue开发移动端管理后台的注意事项
2019/03/07 Javascript
vue实现随机验证码功能的实例代码
2019/04/30 Javascript
一篇文章介绍redux、react-redux、redux-saga总结
2019/05/23 Javascript
[03:22]DAC最前线(第二期)—DOTA2亚洲邀请赛主赛场周边及线路探访
2015/01/24 DOTA
基于hashlib模块--加密(详解)
2017/06/21 Python
Python3处理HTTP请求的实例
2018/05/10 Python
python最长回文串算法
2018/06/04 Python
Python引用计数操作示例
2018/08/23 Python
在Python函数中输入任意数量参数的实例
2019/07/16 Python
Python logging模块原理解析及应用
2020/08/13 Python
关于HTML5你必须知道的28个新特性,新技巧以及新技术
2012/05/28 HTML / CSS
印度网上购物首选目的地:Flipkart
2016/08/01 全球购物
Nike英国官网:Nike.com (UK)
2017/02/13 全球购物
韩国现代百货官网:Hmall
2018/03/21 全球购物
仓管员岗位职责范文
2013/11/08 职场文书
大学生职业生涯规划书模版
2013/12/30 职场文书
护士演讲稿范文
2014/01/05 职场文书
《忆江南》教学反思
2014/04/07 职场文书
拾金不昧锦旗标语
2014/06/27 职场文书
银行党的群众路线教育实践活动对照检查材料
2014/09/25 职场文书
处级领导干部四风问题自我剖析材料
2014/09/29 职场文书
离婚协议书范文
2015/01/26 职场文书
2015年教师自我评价范文
2015/03/04 职场文书
MySQL修改默认引擎和字符集详情
2021/09/25 MySQL