python数据处理之如何选取csv文件中某几行的数据


Posted in Python onSeptember 02, 2019

前言

有些人看到这个问题觉得不是问题,是嘛,不就是df.col[]函数嘛,其实忽略了一个重点,那就是我们要省去把csv文件全部读取这个过程,因为如果在面临亿万级别的大规模数据,得到的结果就是boom,boom,boom。

我们要使用一下现成的函数里面的参数nrows,和skiprows,一个代表你要读几行,一个代表你从哪开始读,这就可以了,比如从第3行读取4个

示例代码

import pandas as pd
df = pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9],'b':[22,33,44,55,66,77,88,99,10]})
df.to_csv('test.csv')
dt = pd.read_csv('test.csv',skiprows=5,nrows=3)
 
print(dt)
 
 
out:
 4 5 66
0 5 6 77
1 6 7 88
2 7 8 99
3 8 9 10

就可以了,不过这个列头不知道是怎么回事,顺便如果想根据列值找index,可以参考下面的

然后

df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)
 
 
df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)

问题得到了解决

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
详解Python编程中time模块的使用
Nov 20 Python
pygame 精灵的行走及二段跳的实现方法(必看篇)
Jul 10 Python
Python人脸识别初探
Dec 21 Python
transform python环境快速配置方法
Sep 27 Python
Flask实现跨域请求的处理方法
Sep 27 Python
python 中pyqt5 树节点点击实现多窗口切换问题
Jul 04 Python
Django 迁移、操作数据库的方法
Aug 02 Python
Python测试模块doctest使用解析
Aug 10 Python
在 Jupyter 中重新导入特定的 Python 文件(场景分析)
Oct 27 Python
Python 3.8 新功能大揭秘【新手必学】
Feb 05 Python
python文件读取失败怎么处理
Jun 23 Python
Python函数中的不定长参数相关知识总结
Jun 24 Python
Python流程控制 while循环实现解析
Sep 02 #Python
Python中list循环遍历删除数据的正确方法
Sep 02 #Python
python中matplotlib条件背景颜色的实现
Sep 02 #Python
Python3批量移动指定文件到指定文件夹方法示例
Sep 02 #Python
Python流程控制 if else实现解析
Sep 02 #Python
Python 变量的创建过程详解
Sep 02 #Python
python脚本之一键移动自定格式文件方法实例
Sep 02 #Python
You might like
DC动漫人物排行
2020/03/03 欧美动漫
PHP swfupload图片上传的实例代码
2013/09/30 PHP
浅谈php函数serialize()与unserialize()的使用方法
2014/08/19 PHP
php 数组随机取值的简单实例
2016/05/23 PHP
详解php语言最牛掰的Laravel框架
2017/11/20 PHP
浅谈php使用curl模拟多线程发送请求
2019/03/08 PHP
用于table内容排序
2006/07/21 Javascript
一个js实现的所谓的滑动门
2007/05/23 Javascript
jquery ajax执行后台方法
2010/03/18 Javascript
Javascript模块化编程(三)require.js的用法及功能介绍
2013/01/17 Javascript
Node.js实现数据推送
2016/04/14 Javascript
基于Jquery插件实现跨域异步上传文件功能
2016/04/26 Javascript
解决给dom元素绑定click等事件无效问题的方法
2017/02/17 Javascript
js如何验证密码强度
2020/03/18 Javascript
Vue Object.defineProperty及ProxyVue实现双向数据绑定
2020/09/02 Javascript
[01:55]2014DOTA2国际邀请赛快报:国土生病 紧急去医院治疗
2014/07/10 DOTA
[01:09:50]VP vs Pain 2018国际邀请赛小组赛BO2 第二场
2018/08/20 DOTA
[01:09:13]DOTA2-DPC中国联赛 正赛 CDEC vs XG BO3 第三场 1月19日
2021/03/11 DOTA
Python 字符串中的字符倒转
2008/09/06 Python
在Python的setuptools框架下生成egg的教程
2015/04/13 Python
python爬虫_自动获取seebug的poc实例
2017/08/05 Python
Win8.1下安装Python3.6提示0x80240017错误的解决方法
2018/07/31 Python
在pycharm 中添加运行参数的操作方法
2019/01/19 Python
python字符串,元组,列表,字典互转代码实例详解
2020/02/14 Python
Python利用PyPDF2库获取PDF文件总页码实例
2020/04/03 Python
python正则表达式的懒惰匹配和贪婪匹配说明
2020/07/13 Python
Python如何获取文件路径/目录
2020/09/22 Python
Python random模块的使用示例
2020/10/10 Python
h5移动端调用支付宝、微信支付的实现
2020/06/08 HTML / CSS
美国马匹用品和骑马配件购物网站:Horse.com
2018/01/08 全球购物
BIFFI美国站:意大利BIFFI BOUTIQUES豪华多品牌时装零售公司
2020/02/11 全球购物
大学生饮食配送创业计划书
2014/01/04 职场文书
战友聚会主持词
2014/04/02 职场文书
2019思想汇报范文
2019/05/21 职场文书
python第三方网页解析器 lxml 扩展库与 xpath 的使用方法
2021/04/06 Python
Pandas实现DataFrame的简单运算、统计与排序
2022/03/31 Python