python数据处理之如何选取csv文件中某几行的数据


Posted in Python onSeptember 02, 2019

前言

有些人看到这个问题觉得不是问题,是嘛,不就是df.col[]函数嘛,其实忽略了一个重点,那就是我们要省去把csv文件全部读取这个过程,因为如果在面临亿万级别的大规模数据,得到的结果就是boom,boom,boom。

我们要使用一下现成的函数里面的参数nrows,和skiprows,一个代表你要读几行,一个代表你从哪开始读,这就可以了,比如从第3行读取4个

示例代码

import pandas as pd
df = pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9],'b':[22,33,44,55,66,77,88,99,10]})
df.to_csv('test.csv')
dt = pd.read_csv('test.csv',skiprows=5,nrows=3)
 
print(dt)
 
 
out:
 4 5 66
0 5 6 77
1 6 7 88
2 7 8 99
3 8 9 10

就可以了,不过这个列头不知道是怎么回事,顺便如果想根据列值找index,可以参考下面的

然后

df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)
 
 
df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [22, 33, 22, 44, 66]},
  index=[10,20,30,40,50])
print(df)
a = df[(df.BoolCol==3)&(df.attr==22)].index.tolist()
print(a)

问题得到了解决

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
python实现可将字符转换成大写的tcp服务器实例
Apr 29 Python
在Python中操作日期和时间之gmtime()方法的使用
May 22 Python
Python打包文件夹的方法小结(zip,tar,tar.gz等)
Sep 18 Python
Python实现读写sqlite3数据库并将统计数据写入Excel的方法示例
Aug 07 Python
python list是否包含另一个list所有元素的实例
May 04 Python
pandas Dataframe行列读取的实例
Jun 08 Python
浅谈django三种缓存模式的使用及注意点
Sep 30 Python
Django异步任务之Celery的基本使用
Mar 23 Python
Python Opencv实现图像轮廓识别功能
Mar 23 Python
Gauss-Seidel迭代算法的Python实现详解
Jun 29 Python
Python实现的统计文章单词次数功能示例
Jul 08 Python
python实现将range()函数生成的数字存储在一个列表中
Apr 02 Python
Python流程控制 while循环实现解析
Sep 02 #Python
Python中list循环遍历删除数据的正确方法
Sep 02 #Python
python中matplotlib条件背景颜色的实现
Sep 02 #Python
Python3批量移动指定文件到指定文件夹方法示例
Sep 02 #Python
Python流程控制 if else实现解析
Sep 02 #Python
Python 变量的创建过程详解
Sep 02 #Python
python脚本之一键移动自定格式文件方法实例
Sep 02 #Python
You might like
php遍历目录输出目录及其下的所有文件示例
2014/01/27 PHP
PHP生成数组再传给js的方法
2014/08/07 PHP
PHP中auto_prepend_file与auto_append_file用法实例分析
2014/09/22 PHP
PHP获取ip对应地区和使用网络类型的方法
2015/03/11 PHP
ThinkPHP开发框架函数详解:C方法
2015/08/14 PHP
PHP addcslashes()函数讲解
2019/02/03 PHP
jQuery学习7 操作JavaScript对象和集合的函数
2010/02/07 Javascript
jquery多浏览器捕捉回车事件代码
2010/06/22 Javascript
javascript 函数调用的对象和方法
2010/07/01 Javascript
js 金额文本框实现代码
2012/02/14 Javascript
不用锚点也可以平滑滚动到页面的指定位置实现代码
2013/05/08 Javascript
Jquery全选与反选点击执行一次的解决方案
2015/08/14 Javascript
JS如何设置iOS中微信浏览器的title
2016/11/22 Javascript
jQuery zTree搜索-关键字查询 递归无限层功能实现代码
2018/01/25 jQuery
Javascript Promise用法详解
2018/05/10 Javascript
如何解决vue2.0下IE浏览器白屏问题
2018/09/13 Javascript
vue中使用cookies和crypto-js实现记住密码和加密的方法
2018/10/18 Javascript
vue打包之后生成一个配置文件修改接口的方法
2018/12/09 Javascript
深入解析vue 源码目录及构建过程分析
2019/04/24 Javascript
基于原生JS封装的Modal对话框插件的示例代码
2020/09/09 Javascript
python进阶教程之文本文件的读取和写入
2014/08/29 Python
python字典序问题实例
2014/09/26 Python
python获取mp3文件信息的方法
2015/06/15 Python
详细介绍Python的鸭子类型
2016/09/12 Python
python中类和实例如何绑定属性与方法示例详解
2017/08/18 Python
分享6个隐藏的python功能
2017/12/07 Python
Odoo中如何生成唯一不重复的序列号详解
2018/02/10 Python
pyqt5 lineEdit设置密码隐藏,删除lineEdit已输入的内容等属性方法
2019/06/24 Python
pycharm不能运行.py文件的解决方法
2020/02/12 Python
python3 sorted 如何实现自定义排序标准
2020/03/12 Python
在keras中实现查看其训练loss值
2020/06/16 Python
如何使用PHP session
2015/04/21 面试题
部门优秀员工推荐信
2015/03/24 职场文书
2016班级元旦联欢会开幕词
2016/03/04 职场文书
Java并发编程之原子性-Atomic的使用
2022/03/16 Java/Android
MySQL 表锁定 LOCK和UNLOCK TABLES的 SQL语法
2022/04/18 MySQL