python数据处理之如何选取csv文件中某几行的数据


Posted in Python onSeptember 02, 2019

前言

有些人看到这个问题觉得不是问题,是嘛,不就是df.col[]函数嘛,其实忽略了一个重点,那就是我们要省去把csv文件全部读取这个过程,因为如果在面临亿万级别的大规模数据,得到的结果就是boom,boom,boom。

我们要使用一下现成的函数里面的参数nrows,和skiprows,一个代表你要读几行,一个代表你从哪开始读,这就可以了,比如从第3行读取4个

示例代码

import pandas as pd
df = pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9],'b':[22,33,44,55,66,77,88,99,10]})
df.to_csv('test.csv')
dt = pd.read_csv('test.csv',skiprows=5,nrows=3)
 
print(dt)
 
 
out:
 4 5 66
0 5 6 77
1 6 7 88
2 7 8 99
3 8 9 10

就可以了,不过这个列头不知道是怎么回事,顺便如果想根据列值找index,可以参考下面的

然后

df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)
 
 
df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)

问题得到了解决

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
python 参数列表中的self 显式不等于冗余
Dec 01 Python
Python写的创建文件夹自定义函数mkdir()
Aug 25 Python
Python字符串处理实例详解
May 18 Python
python实现在pandas.DataFrame添加一行
Apr 04 Python
django实现web接口 python3模拟Post请求方式
Nov 19 Python
python线程信号量semaphore使用解析
Nov 30 Python
Python文件读写w+和r+区别解析
Mar 26 Python
django在开发中取消外键约束的实现
May 20 Python
Keras loss函数剖析
Jul 06 Python
Selenium之模拟登录铁路12306的示例代码
Jul 31 Python
基于python获取本地时间并转换时间戳和日期格式
Oct 27 Python
Python3的进程和线程你了解吗
Mar 16 Python
Python流程控制 while循环实现解析
Sep 02 #Python
Python中list循环遍历删除数据的正确方法
Sep 02 #Python
python中matplotlib条件背景颜色的实现
Sep 02 #Python
Python3批量移动指定文件到指定文件夹方法示例
Sep 02 #Python
Python流程控制 if else实现解析
Sep 02 #Python
Python 变量的创建过程详解
Sep 02 #Python
python脚本之一键移动自定格式文件方法实例
Sep 02 #Python
You might like
PHP 5.0对象模型深度探索之对象复制
2008/03/27 PHP
php smarty模板引擎的6个小技巧
2014/04/24 PHP
js 调用父窗口的具体实现代码
2013/07/15 Javascript
JavaScript中圆括号()和方括号[]的特殊用法疑问解答
2013/08/06 Javascript
JavaScript中的数组特性介绍
2014/12/30 Javascript
jQuery中innerWidth()方法用法实例
2015/01/19 Javascript
javascript继承的六大模式小结
2015/04/13 Javascript
JS+CSS实现简单滑动门(滑动菜单)效果
2015/09/19 Javascript
js简单网速测试方法完整实例
2015/12/15 Javascript
Bootstrap3 多选和单选框(checkbox)
2016/12/29 Javascript
jquery append与appendTo方法比较
2017/05/24 jQuery
React中的render何时执行过程
2018/04/13 Javascript
详解ESLint在Vue中的使用小结
2018/10/15 Javascript
Vue CLI3中使用compass normalize的方法
2019/05/30 Javascript
ES6基础之 Promise 对象用法实例详解
2019/08/22 Javascript
[02:05]2014DOTA2西雅图邀请赛 老队长全明星大猜想谁不服就按进显示器
2014/07/08 DOTA
python创建和使用字典实例详解
2013/11/01 Python
Django卸载之后重新安装的方法
2017/03/15 Python
selenium+python 去除启动的黑色cmd窗口方法
2018/05/22 Python
django缓存配置的几种方法详解
2018/07/16 Python
python中通过pip安装库文件时出现“EnvironmentError: [WinError 5] 拒绝访问”的问题及解决方案
2020/08/11 Python
美国豪华的多品牌精品店:The Webster
2019/07/31 全球购物
意大利网上购书网站:Libraccio.it
2021/02/03 全球购物
纯净、自信、100%的羊绒服装:360Cashmere
2021/02/20 全球购物
机电专业大学生求职信
2013/10/04 职场文书
会计师职业生涯规划范文
2014/02/18 职场文书
大学生会计职业生涯规划范文
2014/02/28 职场文书
幼儿园社区活动总结
2014/07/07 职场文书
大学生职业生涯规划大赛作品(精品)
2014/09/17 职场文书
工程部岗位职责范本
2015/04/11 职场文书
2015年药店店长工作总结
2015/04/29 职场文书
运动会广播稿50字
2015/08/19 职场文书
《穷人》教学反思
2016/02/19 职场文书
浏览器常用基本操作之python3+selenium4自动化测试(基础篇3)
2021/05/21 Python
详解Python生成器和基于生成器的协程
2021/06/03 Python
JavaScript流程控制(循环)
2021/12/06 Javascript