python数据处理之如何选取csv文件中某几行的数据


Posted in Python onSeptember 02, 2019

前言

有些人看到这个问题觉得不是问题,是嘛,不就是df.col[]函数嘛,其实忽略了一个重点,那就是我们要省去把csv文件全部读取这个过程,因为如果在面临亿万级别的大规模数据,得到的结果就是boom,boom,boom。

我们要使用一下现成的函数里面的参数nrows,和skiprows,一个代表你要读几行,一个代表你从哪开始读,这就可以了,比如从第3行读取4个

示例代码

import pandas as pd
df = pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9],'b':[22,33,44,55,66,77,88,99,10]})
df.to_csv('test.csv')
dt = pd.read_csv('test.csv',skiprows=5,nrows=3)
 
print(dt)
 
 
out:
 4 5 66
0 5 6 77
1 6 7 88
2 7 8 99
3 8 9 10

就可以了,不过这个列头不知道是怎么回事,顺便如果想根据列值找index,可以参考下面的

然后

df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)
 
 
df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)

问题得到了解决

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
python通过文件头判断文件类型
Oct 30 Python
老生常谈python之鸭子类和多态
Jun 13 Python
python使用turtle库绘制时钟
Mar 25 Python
Python爬虫之UserAgent的使用实例
Feb 21 Python
Python实现多进程的四种方式
Feb 22 Python
python爬虫的一个常见简单js反爬详解
Jul 09 Python
python中pygame安装过程(超级详细)
Aug 04 Python
Python进阶之迭代器与迭代器切片教程
Jan 29 Python
Django 博客实现简单的全文搜索的示例代码
Feb 17 Python
Django路由层URLconf作用及原理解析
Sep 24 Python
使用Python实现音频双通道分离
Dec 25 Python
Python带你从浅入深探究Tuple(基础篇)
May 15 Python
Python流程控制 while循环实现解析
Sep 02 #Python
Python中list循环遍历删除数据的正确方法
Sep 02 #Python
python中matplotlib条件背景颜色的实现
Sep 02 #Python
Python3批量移动指定文件到指定文件夹方法示例
Sep 02 #Python
Python流程控制 if else实现解析
Sep 02 #Python
Python 变量的创建过程详解
Sep 02 #Python
python脚本之一键移动自定格式文件方法实例
Sep 02 #Python
You might like
使用PHPMYADMIN操作mysql数据库添加新用户和数据库的方法
2010/04/02 PHP
CI框架扩展系统核心类的方法分析
2016/05/23 PHP
基于swoole实现多人聊天室
2018/06/14 PHP
PHP设计模式(三)建造者模式Builder实例详解【创建型】
2020/05/02 PHP
php提高脚本性能的4个技巧
2020/08/18 PHP
jquery实现带复选框的表格行选中删除时高亮显示
2013/08/01 Javascript
JS获取屏幕,浏览器窗口大小,网页高度宽度(实现代码)
2013/12/17 Javascript
Jquery方式获取iframe页面中的 Dom元素
2014/05/07 Javascript
jQuery插件slicebox实现3D动画图片轮播切换特效
2015/04/12 Javascript
使用 Node.js 对文本内容分词和关键词抽取
2017/05/27 Javascript
初探JavaScript 面向对象(推荐)
2017/09/03 Javascript
vue语法之拼接字符串的示例代码
2017/10/25 Javascript
Vue脚手架的简单使用实例
2018/07/10 Javascript
解决layUI的页面显示不全的问题
2019/09/20 Javascript
koa2的中间件功能及应用示例
2020/03/05 Javascript
[01:34]完美“圣”典宣传片震撼发布,12.17与你不见不散
2016/12/16 DOTA
python操作xml文件示例
2014/04/07 Python
详细介绍Python函数中的默认参数
2015/03/30 Python
python脚本设置系统时间的两种方法
2016/02/21 Python
详解Python连接MySQL数据库的多种方式
2019/04/16 Python
Python 导入文件过程图解
2019/10/15 Python
PyTorch 解决Dataset和Dataloader遇到的问题
2020/01/08 Python
pycharm激活码免费分享适用最新pycharm2020.2.3永久激活
2020/11/25 Python
python opencv图像处理(素描、怀旧、光照、流年、滤镜 原理及实现)
2020/12/10 Python
Html5 audio标签样式的修改
2016/01/28 HTML / CSS
美国诺德斯特龙百货官网:Nordstrom
2016/08/23 全球购物
碧欧泉美国官网:Biotherm美国
2016/08/31 全球购物
物流经理自我评价
2013/09/23 职场文书
外国人聘用意向书
2014/04/01 职场文书
2014年销售工作总结
2014/12/01 职场文书
小学班主任经验交流材料
2014/12/16 职场文书
2015年世界无烟日活动总结
2015/02/10 职场文书
只需要12页,掌握撰写一流商业计划书的技巧
2019/05/07 职场文书
职场:企业印章管理制度(模板)
2019/10/18 职场文书
jquery插件实现搜索历史
2021/04/24 jQuery
解决go在函数退出后子协程的退出问题
2021/04/30 Golang