Python遍历pandas数据方法总结


Posted in Python onFebruary 09, 2018

前言

Pandas是python的一个数据分析包,提供了大量的快速便捷处理数据的函数和方法。其中Pandas定义了Series 和 DataFrame两种数据类型,这使数据操作变得更简单。Series 是一种一维的数据结构,类似于将列表数据值与索引值相结合。DataFrame 是一种二维的数据结构,接近于电子表格或者mysql数据库的形式。

Python遍历pandas数据方法总结

在数据分析中不可避免的涉及到对数据的遍历查询和处理,比如我们需要将dataframe两列数据两两相除,并将结果存储于一个新的列表中。本文通过该例程介绍对pandas数据遍历的几种方法。

for..in循环迭代方式

for语句是Python内置的迭代器工具,用于从可迭代容器对象(如列表、元组、字典、集合、文件等)中逐个读取元素,直到容器中没有更多元素为止,工具和对象之间只要遵循可迭代协议即可进行迭代操作。
具体的迭代的过程:可迭代对象通过__iter__方法返回迭代器,迭代器具有__next__方法,for循环不断地调用__next__方法,每次按序返回迭代器中的一个值,直到迭代到最后,没有更多元素时抛出异常StopIteration(python自动处理异常)。迭代的优点是无需把所有元素一次加载到内存中,可以在调用next方法时逐个返回元素,避免出现内存空间不够的情况。

>>> x = [1,2,3]
>>> its = x.__iter__() #列表是可迭代对象,否则会提示不是迭代对象
>>> its
<list_iterator object at 0x100f32198>
>>> next(its) # its包含此方法,说明its是迭代器
1
>>> next(its) 
2
>>>next(its) 
3
>>> next(its) 
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
StopIteration

Python遍历pandas数据方法总结

实现代码如下:

def haversine_looping(df):
disftance_list = []
for i in range(0,len(df)):
 disftance_list.append(df.iloc[i][‘high']/df.iloc[i][‘open'])
 return disftance_list

关于上述代码中range的实现方法,我们也可根据迭代器协议自实现相同功能的迭代器(自带iter方法和next方法)应用在for循环中,代码如下:

class MyRange:
 def __init__(self, num):
  self.i = 0
  self.num = num
 def __iter__(self):
  return self
 def __next__(self):
  if self.i < self.num:
  i = self.i
  self.i += 1
  return i
  else:
  raise StopIteration()
 for i in MyRange(10):
 print(i)

我们也可以通过列表解析的方式用更少的代码实现数据处理功能

disftance_list = [df.iloc[i][‘high']/df.iloc[i][‘open'] for i in range(0,len(df))]

iterrows()生成器方式

iterrows是对dataframe行进行迭代的一个生成器,它返回每行的索引及包含行本身的对象。所谓生成器其实是一种特殊的迭代器,内部支持了迭代器协议。Python中提供生成器函数和生成器表达式两种方式实现生成器,每次请求返回一个结果,不需要一次性构建一个结果列表,节省了内存空间。

生成器函数:编写为常规的def语句,但是使用yield语句一次返回一个结果,在每个结果之间挂起和继续它们的状态。

def gensquares(N):
 for i in range(N):
 yield i**2 
print gensquares(5)
for i in gensquares(5):
 print(i) 

<generator object gensquares at 0xb3d37fa4>
0
1
4
9
16

生成器表达式:类似列表解析,按需产生结果的一个对象。

print (x**2 for x in range(5))
print list(x**2 for x in range(5))
<generator object <genexpr> at 0xb3d31fa4>
[0, 1, 4, 9, 16]

iterrows()实现代码如下:

def haversine_looping(df):
disftance_list = []
for index,row in df.iterrows():
 disftance_list.append(row[‘high']/row[‘open'])
 return disftance_list

iterrows代码如下,yield语句挂起该函数并向调用者发送回一组值:

def iterrows(self):
 columns = self.columns
 klass = self._constructor_sliced
 for k, v in zip(self.index, self.values):
  s = klass(v, index=columns, name=k)
  yield k, s

apply()方法循环方式

apply()方法可将函数应用于dataframe特定行或列。函数由lambda方式在代码中内嵌实现,lambda函数的末尾包含axis参数,用来告知Pandas将函数运用于行(axis = 1)或者列(axis = 0)。

实现代码如下:

df.apply(lambda row: row[‘high']/row[‘open'], axis =1)

Pandas series 的矢量化方式

Pandas的DataFrame、series基础单元数据结构基于链表,因此可将函数在整个链表上进行矢量化操作,而不用按顺序执行每个值。Pandas包括了非常丰富的矢量化函数库,我们可把整个series(列)作为参数传递,对整个链表进行计算。

实现代码如下:

dftest4['rate'] = dftest4['high']/dftest4['open']

Numpy arrays的矢量化方式

由于函数的矢量化实现中只使用了series的数值,因此可使用values 方法将链表从Pandas series转换为NumPy arrays,把NumPy array作为参数传递,对整个链表进行计算。

实现代码如下:

dftest5['rate'] = dftest5['high'].values/dftest5['open'].values

总结

使用timeit方法对以上几种遍历方式进行执行时间测试,测试结果如下。可以看出循环执行的速度是最慢的,iterrows()针对Pandas的dataframe进行了优化,相比直接循环有显著提升。apply()方法也是在行之间进行循环,但由于利用了类似Cython的迭代器的一系列全局优化,其效率要比iterrows高很多。NumPy arrays的矢量化运行速度最快,其次是Pandas series矢量化。由于矢量化是同时作用于整个序列的,可以节省更多的时间,相比使用标量操作更好,NumPy使用预编译的C代码在底层进行优化,同时也避免了Pandas series操作过程中的很多开销,例如索引、数据类型等等,因此,NumPy arrays的操作要比Pandas series快得多。

Python 相关文章推荐
Python命令行参数解析模块optparse使用实例
Apr 13 Python
python WindowsError的错误代码详解
Jul 23 Python
python中requests使用代理proxies方法介绍
Oct 25 Python
python爬取cnvd漏洞库信息的实例
Feb 14 Python
django多对多表的创建,级联删除及手动创建第三张表
Jul 25 Python
手机使用python操作图片文件(pydroid3)过程详解
Sep 25 Python
python super的使用方法及实例详解
Sep 25 Python
使用OpenCV获取图片连通域数量,并用不同颜色标记函
Jun 04 Python
python 检测nginx服务邮件报警的脚本
Dec 31 Python
Keras在mnist上的CNN实践,并且自定义loss函数曲线图操作
May 25 Python
pytorch 6 batch_train 批训练操作
May 28 Python
详解解Django 多对多表关系的三种创建方式
Aug 23 Python
python中的闭包函数
Feb 09 #Python
基于Python socket的端口扫描程序实例代码
Feb 09 #Python
利用python 更新ssh 远程代码 操作远程服务器的实现代码
Feb 08 #Python
Tensorflow 利用tf.contrib.learn建立输入函数的方法
Feb 08 #Python
django数据库migrate失败的解决方法解析
Feb 08 #Python
python使用锁访问共享变量实例解析
Feb 08 #Python
Python异常对代码运行性能的影响实例解析
Feb 08 #Python
You might like
PHP可逆加密/解密函数分享
2012/09/25 PHP
php获取用户浏览器版本的方法
2015/01/03 PHP
php短信接口代码
2016/05/13 PHP
php实现支持中文的文件下载功能示例
2017/08/30 PHP
Laravel5.1 框架Middleware中间件基本用法实例分析
2020/01/04 PHP
javascript Array.remove() 数组删除
2009/08/06 Javascript
JavaScript DOM学习第八章 表单错误提示
2010/02/19 Javascript
javascript 节点遍历函数
2010/03/28 Javascript
JS+CSS实现简易的滑动门效果代码
2015/09/24 Javascript
jQuery+css实现的切换图片功能代码
2016/01/27 Javascript
jQuery简单实现页面元素置顶时悬浮效果示例
2016/08/01 Javascript
纯JavaScript手写图片轮播代码
2016/10/20 Javascript
JavaScript计算值然后把值嵌入到html中的实现方法
2016/10/29 Javascript
Angular2使用Guard和Resolve进行验证和权限控制
2017/04/24 Javascript
jquery中封装函数传递当前元素的方法示例
2017/05/05 jQuery
JavaScript中正则表达式判断匹配规则及常用方法
2017/08/03 Javascript
详解JS中的this、apply、call、bind(经典面试题)
2017/09/19 Javascript
深入浅析Vue全局组件与局部组件的区别
2018/06/15 Javascript
vue实现引入本地json的方法分析
2018/07/12 Javascript
js canvas实现星空连线背景特效
2019/11/01 Javascript
使用kbone解决Vue项目同时支持小程序问题
2019/11/08 Javascript
使用uni-app开发微信小程序的实现
2019/12/13 Javascript
[04:42]5分钟带你了解什么是DOTA2(第一期)
2017/02/07 DOTA
python中子类继承父类的__init__方法实例
2016/12/15 Python
Python语言实现将图片转化为html页面
2017/12/06 Python
Python3实现购物车功能
2018/04/18 Python
python 使用poster模块进行http方式的文件传输到服务器的方法
2019/01/15 Python
python3实现斐波那契数列(4种方法)
2019/07/15 Python
python 对xml解析的示例
2021/02/27 Python
前端实现打印图像功能
2019/08/27 HTML / CSS
苹果音乐订阅:Apple Music
2018/08/02 全球购物
俄罗斯家居用品购物网站:Евродом
2020/11/21 全球购物
几个SQL的面试题
2014/03/08 面试题
网络编辑求职信
2014/04/30 职场文书
青少年法制教育心得体会
2016/01/14 职场文书
MySQL数据库⾼可⽤HA实现小结
2022/01/22 MySQL