python数据处理之如何选取csv文件中某几行的数据


Posted in Python onSeptember 02, 2019

前言

有些人看到这个问题觉得不是问题,是嘛,不就是df.col[]函数嘛,其实忽略了一个重点,那就是我们要省去把csv文件全部读取这个过程,因为如果在面临亿万级别的大规模数据,得到的结果就是boom,boom,boom。

我们要使用一下现成的函数里面的参数nrows,和skiprows,一个代表你要读几行,一个代表你从哪开始读,这就可以了,比如从第3行读取4个

示例代码

import pandas as pd
df = pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9],'b':[22,33,44,55,66,77,88,99,10]})
df.to_csv('test.csv')
dt = pd.read_csv('test.csv',skiprows=5,nrows=3)
 
print(dt)
 
 
out:
 4 5 66
0 5 6 77
1 6 7 88
2 7 8 99
3 8 9 10

就可以了,不过这个列头不知道是怎么回事,顺便如果想根据列值找index,可以参考下面的

然后

df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)
 
 
df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)

问题得到了解决

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python中优化NumPy包使用性能的教程
Apr 23 Python
在Python的Django框架中编写编译函数
Jul 20 Python
好用的Python编辑器WingIDE的使用经验总结
Aug 31 Python
python中利用Future对象异步返回结果示例代码
Sep 07 Python
python实现微信发送邮件关闭电脑功能
Feb 22 Python
浅谈pandas中Dataframe的查询方法([], loc, iloc, at, iat, ix)
Apr 10 Python
利用python循环创建多个文件的方法
Oct 25 Python
python读写csv文件实例代码
Jul 05 Python
python标准库sys和OS的函数使用方法与实例详解
Feb 12 Python
python破解同事的压缩包密码
Oct 14 Python
Python并发编程实例教程之线程的玩法
Jun 20 Python
Python访问Redis的详细操作
Jun 26 Python
Python流程控制 while循环实现解析
Sep 02 #Python
Python中list循环遍历删除数据的正确方法
Sep 02 #Python
python中matplotlib条件背景颜色的实现
Sep 02 #Python
Python3批量移动指定文件到指定文件夹方法示例
Sep 02 #Python
Python流程控制 if else实现解析
Sep 02 #Python
Python 变量的创建过程详解
Sep 02 #Python
python脚本之一键移动自定格式文件方法实例
Sep 02 #Python
You might like
php利用iframe实现无刷新文件上传功能的代码
2011/09/29 PHP
用PHP生成excel文件到指定目录
2015/06/22 PHP
PHP添加图片水印、压缩、剪切的封装类
2015/08/17 PHP
详解PHP的Yii框架中自带的前端资源包的使用
2016/03/31 PHP
PHP自动补全表单的两种方法
2017/03/06 PHP
详解PHP使用Redis存储session时的一个Warning定位
2017/07/05 PHP
jquery last-child 列表最后一项的样式
2010/01/22 Javascript
14款NodeJS Web框架推荐
2014/07/11 NodeJs
js实现prototype扩展的方法(字符串,日期,数组扩展)
2016/01/14 Javascript
微信小程序 picker 组件详解及简单实例
2017/01/10 Javascript
js实现5秒倒计时重新发送短信功能
2017/02/05 Javascript
react脚手架如何配置less和ant按需加载的方法步骤
2018/11/28 Javascript
详解vue项目中实现图片裁剪功能
2019/06/07 Javascript
python实现linux下使用xcopy的方法
2015/06/28 Python
使用Python的Bottle框架写一个简单的服务接口的示例
2015/08/25 Python
解决Django数据库makemigrations有变化但是migrate时未变动问题
2018/05/30 Python
Python 忽略warning的输出方法
2018/10/18 Python
PyQt5实现简单数据标注工具
2019/03/18 Python
Python使用Turtle库绘制一棵西兰花
2019/11/23 Python
Spring实战之使用util:命名空间简化配置操作示例
2019/12/09 Python
Python re正则表达式元字符分组()用法分享
2020/02/10 Python
python实现电子词典
2020/03/03 Python
python简单的三元一次方程求解实例
2020/04/02 Python
在python中使用nohup命令说明
2020/04/16 Python
numpy矩阵数值太多不能全部显示的解决
2020/05/14 Python
Python中random模块常用方法的使用教程
2020/10/04 Python
python3.9和pycharm的安装教程并创建简单项目的步骤
2021/02/03 Python
Python自动化测试基础必备知识点总结
2021/02/07 Python
AmazeUI 输入框组的示例代码
2020/08/14 HTML / CSS
销售部主管岗位职责
2013/12/18 职场文书
不打扫卫生检讨书
2014/02/12 职场文书
培训专员岗位职责
2014/02/26 职场文书
校庆接待方案
2014/03/18 职场文书
2014年局领导班子自身建设情况汇报
2014/11/21 职场文书
Java实现多文件上传功能
2021/06/30 Java/Android
使用CSS3实现按钮悬停闪烁动态特效代码
2021/08/30 HTML / CSS