python数据处理之如何选取csv文件中某几行的数据


Posted in Python onSeptember 02, 2019

前言

有些人看到这个问题觉得不是问题,是嘛,不就是df.col[]函数嘛,其实忽略了一个重点,那就是我们要省去把csv文件全部读取这个过程,因为如果在面临亿万级别的大规模数据,得到的结果就是boom,boom,boom。

我们要使用一下现成的函数里面的参数nrows,和skiprows,一个代表你要读几行,一个代表你从哪开始读,这就可以了,比如从第3行读取4个

示例代码

import pandas as pd
df = pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9],'b':[22,33,44,55,66,77,88,99,10]})
df.to_csv('test.csv')
dt = pd.read_csv('test.csv',skiprows=5,nrows=3)
 
print(dt)
 
 
out:
 4 5 66
0 5 6 77
1 6 7 88
2 7 8 99
3 8 9 10

就可以了,不过这个列头不知道是怎么回事,顺便如果想根据列值找index,可以参考下面的

然后

df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)
 
 
df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)

问题得到了解决

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python队列的定义与使用方法示例
Jun 24 Python
Python基础语言学习笔记总结(精华)
Nov 14 Python
pandas 按照特定顺序输出的实现代码
Jul 10 Python
python版opencv摄像头人脸实时检测方法
Aug 03 Python
windows下cx_Freeze生成Python可执行程序的详细步骤
Oct 09 Python
Python numpy.array()生成相同元素数组的示例
Nov 12 Python
docker-py 用Python调用Docker接口的方法
Aug 30 Python
Python 中的 import 机制之实现远程导入模块
Oct 29 Python
python可视化text()函数使用详解
Feb 11 Python
python批量替换文件名中的共同字符实例
Mar 05 Python
python实现IOU计算案例
Apr 12 Python
Django中ORM找出内容不为空的数据实例
May 20 Python
Python流程控制 while循环实现解析
Sep 02 #Python
Python中list循环遍历删除数据的正确方法
Sep 02 #Python
python中matplotlib条件背景颜色的实现
Sep 02 #Python
Python3批量移动指定文件到指定文件夹方法示例
Sep 02 #Python
Python流程控制 if else实现解析
Sep 02 #Python
Python 变量的创建过程详解
Sep 02 #Python
python脚本之一键移动自定格式文件方法实例
Sep 02 #Python
You might like
PHP删除目录及目录下所有文件的方法详解
2013/06/06 PHP
无刷新动态加载数据 滚动条加载适合评论等页面
2013/10/16 PHP
详解php curl带有csrf-token验证模拟提交方法
2018/04/18 PHP
一个报数游戏js版(约瑟夫环问题)
2010/08/05 Javascript
Javascript 判断是否存在函数的方法
2013/01/03 Javascript
jQuery基本选择器选择元素使用介绍
2013/04/18 Javascript
原生js实现改变随意改变div属性style的名称和值的结果
2013/09/26 Javascript
JS随机漂浮广告代码具体实例
2013/11/19 Javascript
深入理解vue中的$set
2017/06/01 Javascript
基于模板引擎Jade的应用(详解)
2017/12/12 Javascript
JS Math对象与Math方法实例小结
2019/07/05 Javascript
微信小程序 授权登录详解(附完整源码)
2019/08/23 Javascript
详解JavaScript中new操作符的解析和实现
2020/09/04 Javascript
vue 解决mintui弹窗弹起来,底部页面滚动bug问题
2020/11/12 Javascript
python 获取et和excel的版本号
2009/04/09 Python
在Python中使用NLTK库实现对词干的提取的教程
2015/04/08 Python
Python找出微信上删除你好友的人脚本写法
2018/11/01 Python
在Python中字典根据多项规则排序的方法
2019/01/21 Python
python中的反斜杠问题深入讲解
2019/08/12 Python
Keras实现DenseNet结构操作
2020/07/06 Python
网易微博Web App用HTML5开发的过程介绍
2012/06/13 HTML / CSS
10个最常见的HTML5面试题 附答案
2016/06/06 HTML / CSS
SEPHORA新西兰官方网站:购买化妆品和护肤品
2016/12/02 全球购物
英国索普公园票务和酒店套餐:Thorpe Breaks
2019/09/14 全球购物
EJB包括(SessionBean,EntityBean)说出他们的生命周期,及如何管理事务的
2015/07/24 面试题
电子商务专业自我鉴定
2013/12/18 职场文书
八年级历史教学反思
2014/01/10 职场文书
清洁工岗位职责
2014/01/29 职场文书
《美丽的公鸡》教学反思
2014/02/25 职场文书
公务员更新知识培训实施方案
2014/03/31 职场文书
企业安全生产目标责任书
2014/07/23 职场文书
综合素质自我评价评语
2015/03/06 职场文书
投诉书格式范本
2015/07/02 职场文书
结婚纪念日感言
2015/08/01 职场文书
学校教学管理制度
2015/08/06 职场文书
创业计划书之暑假培训班
2019/11/09 职场文书