Python遍历pandas数据方法总结


Posted in Python onFebruary 09, 2018

前言

Pandas是python的一个数据分析包,提供了大量的快速便捷处理数据的函数和方法。其中Pandas定义了Series 和 DataFrame两种数据类型,这使数据操作变得更简单。Series 是一种一维的数据结构,类似于将列表数据值与索引值相结合。DataFrame 是一种二维的数据结构,接近于电子表格或者mysql数据库的形式。

Python遍历pandas数据方法总结

在数据分析中不可避免的涉及到对数据的遍历查询和处理,比如我们需要将dataframe两列数据两两相除,并将结果存储于一个新的列表中。本文通过该例程介绍对pandas数据遍历的几种方法。

for..in循环迭代方式

for语句是Python内置的迭代器工具,用于从可迭代容器对象(如列表、元组、字典、集合、文件等)中逐个读取元素,直到容器中没有更多元素为止,工具和对象之间只要遵循可迭代协议即可进行迭代操作。
具体的迭代的过程:可迭代对象通过__iter__方法返回迭代器,迭代器具有__next__方法,for循环不断地调用__next__方法,每次按序返回迭代器中的一个值,直到迭代到最后,没有更多元素时抛出异常StopIteration(python自动处理异常)。迭代的优点是无需把所有元素一次加载到内存中,可以在调用next方法时逐个返回元素,避免出现内存空间不够的情况。

>>> x = [1,2,3]
>>> its = x.__iter__() #列表是可迭代对象,否则会提示不是迭代对象
>>> its
<list_iterator object at 0x100f32198>
>>> next(its) # its包含此方法,说明its是迭代器
1
>>> next(its) 
2
>>>next(its) 
3
>>> next(its) 
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
StopIteration

Python遍历pandas数据方法总结

实现代码如下:

def haversine_looping(df):
disftance_list = []
for i in range(0,len(df)):
 disftance_list.append(df.iloc[i][‘high']/df.iloc[i][‘open'])
 return disftance_list

关于上述代码中range的实现方法,我们也可根据迭代器协议自实现相同功能的迭代器(自带iter方法和next方法)应用在for循环中,代码如下:

class MyRange:
 def __init__(self, num):
  self.i = 0
  self.num = num
 def __iter__(self):
  return self
 def __next__(self):
  if self.i < self.num:
  i = self.i
  self.i += 1
  return i
  else:
  raise StopIteration()
 for i in MyRange(10):
 print(i)

我们也可以通过列表解析的方式用更少的代码实现数据处理功能

disftance_list = [df.iloc[i][‘high']/df.iloc[i][‘open'] for i in range(0,len(df))]

iterrows()生成器方式

iterrows是对dataframe行进行迭代的一个生成器,它返回每行的索引及包含行本身的对象。所谓生成器其实是一种特殊的迭代器,内部支持了迭代器协议。Python中提供生成器函数和生成器表达式两种方式实现生成器,每次请求返回一个结果,不需要一次性构建一个结果列表,节省了内存空间。

生成器函数:编写为常规的def语句,但是使用yield语句一次返回一个结果,在每个结果之间挂起和继续它们的状态。

def gensquares(N):
 for i in range(N):
 yield i**2 
print gensquares(5)
for i in gensquares(5):
 print(i) 

<generator object gensquares at 0xb3d37fa4>
0
1
4
9
16

生成器表达式:类似列表解析,按需产生结果的一个对象。

print (x**2 for x in range(5))
print list(x**2 for x in range(5))
<generator object <genexpr> at 0xb3d31fa4>
[0, 1, 4, 9, 16]

iterrows()实现代码如下:

def haversine_looping(df):
disftance_list = []
for index,row in df.iterrows():
 disftance_list.append(row[‘high']/row[‘open'])
 return disftance_list

iterrows代码如下,yield语句挂起该函数并向调用者发送回一组值:

def iterrows(self):
 columns = self.columns
 klass = self._constructor_sliced
 for k, v in zip(self.index, self.values):
  s = klass(v, index=columns, name=k)
  yield k, s

apply()方法循环方式

apply()方法可将函数应用于dataframe特定行或列。函数由lambda方式在代码中内嵌实现,lambda函数的末尾包含axis参数,用来告知Pandas将函数运用于行(axis = 1)或者列(axis = 0)。

实现代码如下:

df.apply(lambda row: row[‘high']/row[‘open'], axis =1)

Pandas series 的矢量化方式

Pandas的DataFrame、series基础单元数据结构基于链表,因此可将函数在整个链表上进行矢量化操作,而不用按顺序执行每个值。Pandas包括了非常丰富的矢量化函数库,我们可把整个series(列)作为参数传递,对整个链表进行计算。

实现代码如下:

dftest4['rate'] = dftest4['high']/dftest4['open']

Numpy arrays的矢量化方式

由于函数的矢量化实现中只使用了series的数值,因此可使用values 方法将链表从Pandas series转换为NumPy arrays,把NumPy array作为参数传递,对整个链表进行计算。

实现代码如下:

dftest5['rate'] = dftest5['high'].values/dftest5['open'].values

总结

使用timeit方法对以上几种遍历方式进行执行时间测试,测试结果如下。可以看出循环执行的速度是最慢的,iterrows()针对Pandas的dataframe进行了优化,相比直接循环有显著提升。apply()方法也是在行之间进行循环,但由于利用了类似Cython的迭代器的一系列全局优化,其效率要比iterrows高很多。NumPy arrays的矢量化运行速度最快,其次是Pandas series矢量化。由于矢量化是同时作用于整个序列的,可以节省更多的时间,相比使用标量操作更好,NumPy使用预编译的C代码在底层进行优化,同时也避免了Pandas series操作过程中的很多开销,例如索引、数据类型等等,因此,NumPy arrays的操作要比Pandas series快得多。

Python 相关文章推荐
Python图像灰度变换及图像数组操作
Jan 27 Python
Python中easy_install 和 pip 的安装及使用
Jun 05 Python
Python SQLite3数据库日期与时间常见函数用法分析
Aug 14 Python
python 读写中文json的实例详解
Oct 29 Python
详解Python核心对象类型字符串
Feb 11 Python
python学习之hook钩子的原理和使用
Oct 25 Python
Python实现的矩阵转置与矩阵相乘运算示例
Mar 26 Python
Python 硬币兑换问题
Jul 29 Python
pytorch .detach() .detach_() 和 .data用于切断反向传播的实现
Dec 27 Python
python实现查找所有程序的安装信息
Feb 18 Python
python复合条件下的字典排序
Dec 18 Python
pytorch 运行一段时间后出现GPU OOM的问题
Jun 02 Python
python中的闭包函数
Feb 09 #Python
基于Python socket的端口扫描程序实例代码
Feb 09 #Python
利用python 更新ssh 远程代码 操作远程服务器的实现代码
Feb 08 #Python
Tensorflow 利用tf.contrib.learn建立输入函数的方法
Feb 08 #Python
django数据库migrate失败的解决方法解析
Feb 08 #Python
python使用锁访问共享变量实例解析
Feb 08 #Python
Python异常对代码运行性能的影响实例解析
Feb 08 #Python
You might like
PHP输出控制功能在简繁体转换中的应用
2006/10/09 PHP
php木马webshell扫描器代码
2012/01/25 PHP
php单例模式示例分享
2015/02/12 PHP
php开发工具有哪五款
2015/11/09 PHP
JS 两个字符串时间的天数差计算
2013/08/25 Javascript
jQuery对象的selector属性用法实例
2014/12/27 Javascript
JavaScript获取网页表单action属性的方法
2015/04/02 Javascript
jQuery控制Div拖拽效果完整实例分析
2015/04/15 Javascript
jQuery实现表格展开与折叠的方法
2015/05/04 Javascript
Angularjs之filter过滤器(推荐)
2016/11/27 Javascript
Html5+jQuery+CSS制作相册小记录
2016/12/30 Javascript
angular学习之ngRoute路由机制
2017/04/12 Javascript
vue父组件向子组件动态传值的两种方法
2017/11/11 Javascript
百度小程序之间的页面通信过程详解
2019/07/18 Javascript
layui实现多图片上传并限制上传的图片数量
2019/09/26 Javascript
Layui 解决表格异步调用后台分页的问题
2019/10/26 Javascript
JS代码检查工具ESLint介绍与使用方法
2020/02/04 Javascript
[40:55]Liquid vs LGD 2018国际邀请赛小组赛BO2 第二场 8.16
2018/08/17 DOTA
Python清空文件并替换内容的实例
2018/10/22 Python
python 将列表中的字符串连接成一个长路径的方法
2018/10/23 Python
Python简单I/O操作示例
2019/03/18 Python
python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)
2019/04/18 Python
python中报错&quot;json.decoder.JSONDecodeError: Expecting value:&quot;的解决
2019/04/29 Python
房地产财务部员工岗位职责
2014/03/12 职场文书
公司经理任命书
2014/06/05 职场文书
2014班子“三严三实”对照检查材料思想汇报
2014/09/18 职场文书
走群众路线剖析材料
2014/10/09 职场文书
2015新员工试用期工作总结
2014/12/12 职场文书
2015年房产经纪人工作总结
2015/05/15 职场文书
第一书记观后感
2015/06/08 职场文书
政审证明范文
2015/06/19 职场文书
在pyCharm中下载第三方库的方法
2021/04/18 Python
python实现调用摄像头并拍照发邮箱
2021/04/27 Python
详解nodejs内置模块
2021/05/06 NodeJs
Redis Cluster集群动态扩容的实现
2021/07/15 Redis
Python实现日志实时监测的示例详解
2022/04/06 Python