python数据处理之如何选取csv文件中某几行的数据


Posted in Python onSeptember 02, 2019

前言

有些人看到这个问题觉得不是问题,是嘛,不就是df.col[]函数嘛,其实忽略了一个重点,那就是我们要省去把csv文件全部读取这个过程,因为如果在面临亿万级别的大规模数据,得到的结果就是boom,boom,boom。

我们要使用一下现成的函数里面的参数nrows,和skiprows,一个代表你要读几行,一个代表你从哪开始读,这就可以了,比如从第3行读取4个

示例代码

import pandas as pd
df = pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9],'b':[22,33,44,55,66,77,88,99,10]})
df.to_csv('test.csv')
dt = pd.read_csv('test.csv',skiprows=5,nrows=3)
 
print(dt)
 
 
out:
 4 5 66
0 5 6 77
1 6 7 88
2 7 8 99
3 8 9 10

就可以了,不过这个列头不知道是怎么回事,顺便如果想根据列值找index,可以参考下面的

然后

df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)
 
 
df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)

问题得到了解决

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
分析Python的Django框架的运行方式及处理流程
Apr 08 Python
日常整理python执行系统命令的常见方法(全)
Oct 22 Python
Python smtplib实现发送邮件功能
May 22 Python
Python初学者需要注意的事项小结(python2与python3)
Sep 26 Python
对python中的argv和argc使用详解
Dec 15 Python
Python 运行.py文件和交互式运行代码的区别详解
Jul 02 Python
python selenium 查找隐藏元素 自动播放视频功能
Jul 24 Python
python经典趣味24点游戏程序设计
Jul 26 Python
浅谈sklearn中predict与predict_proba区别
Jun 28 Python
基于python实现生成指定大小txt文档
Jul 20 Python
Python过滤序列元素的方法
Jul 31 Python
python中pycryto实现数据加密
Apr 29 Python
Python流程控制 while循环实现解析
Sep 02 #Python
Python中list循环遍历删除数据的正确方法
Sep 02 #Python
python中matplotlib条件背景颜色的实现
Sep 02 #Python
Python3批量移动指定文件到指定文件夹方法示例
Sep 02 #Python
Python流程控制 if else实现解析
Sep 02 #Python
Python 变量的创建过程详解
Sep 02 #Python
python脚本之一键移动自定格式文件方法实例
Sep 02 #Python
You might like
解决phpmyadmin中文乱码问题。。。
2007/01/18 PHP
thinkPHP通用控制器实现方法示例
2017/11/23 PHP
微信公众平台开发教程⑥ 微信开发集成类的使用图文详解
2019/04/10 PHP
php设计模式之正面模式实例分析【星际争霸游戏案例】
2020/03/24 PHP
海量经典的jQuery插件集合
2010/01/12 Javascript
js字符编码函数区别分析
2011/12/28 Javascript
Jquery submit()无法提交问题
2013/04/21 Javascript
js闭包的用途详解
2014/11/09 Javascript
jQuery中DOM树操作之使用反向插入方法实例分析
2015/01/23 Javascript
简介JavaScript中getUTCMonth()方法的使用
2015/06/10 Javascript
Jquery使用小技巧汇总
2015/12/29 Javascript
Jquery实现纵向横向菜单
2016/01/24 Javascript
Angular5中调用第三方库及jQuery的添加的方法
2018/06/07 jQuery
vue v-model动态生成详解
2018/06/30 Javascript
使用svg实现动态时钟效果
2018/07/17 Javascript
微信小程序使用map组件实现获取定位城市天气或者指定城市天气数据功能
2019/01/22 Javascript
vue+elementUI(el-upload)图片压缩,默认同比例压缩操作
2020/08/10 Javascript
python更新列表的方法
2015/07/28 Python
Python tkinter事件高级用法实例
2018/01/31 Python
python 字典的打印实现
2019/09/26 Python
python3 使用Opencv打开USB摄像头,配置1080P分辨率的操作
2019/12/11 Python
PyCharm无法识别PyQt5的2种解决方法,ModuleNotFoundError: No module named 'pyqt5'
2020/02/17 Python
Pycharm和Idea支持的vim插件的方法
2020/02/21 Python
深入浅析pycharm中 Make available to all projects的含义
2020/09/15 Python
html5超简单的localStorage实现记住密码的功能实现
2017/09/07 HTML / CSS
GUESS盖尔斯法国官网:美国时尚品牌
2016/09/23 全球购物
美国汽配连锁巨头Pep Boys官网:轮胎更换、汽车维修服务和汽车零部件
2017/01/14 全球购物
国外平面设计素材网站:The Hungry JPEG
2017/03/28 全球购物
大学生个人自我鉴定
2013/12/03 职场文书
上课迟到检讨书
2014/02/19 职场文书
创意婚礼策划方案
2014/05/18 职场文书
小学教师自我剖析材料
2014/09/29 职场文书
幼儿园家长工作总结2015
2015/04/25 职场文书
瞿秋白纪念馆观后感
2015/06/10 职场文书
2016情人节宣传语
2015/07/14 职场文书
话题作文之诚信
2019/11/28 职场文书