Python遍历pandas数据方法总结


Posted in Python onFebruary 09, 2018

前言

Pandas是python的一个数据分析包,提供了大量的快速便捷处理数据的函数和方法。其中Pandas定义了Series 和 DataFrame两种数据类型,这使数据操作变得更简单。Series 是一种一维的数据结构,类似于将列表数据值与索引值相结合。DataFrame 是一种二维的数据结构,接近于电子表格或者mysql数据库的形式。

Python遍历pandas数据方法总结

在数据分析中不可避免的涉及到对数据的遍历查询和处理,比如我们需要将dataframe两列数据两两相除,并将结果存储于一个新的列表中。本文通过该例程介绍对pandas数据遍历的几种方法。

for..in循环迭代方式

for语句是Python内置的迭代器工具,用于从可迭代容器对象(如列表、元组、字典、集合、文件等)中逐个读取元素,直到容器中没有更多元素为止,工具和对象之间只要遵循可迭代协议即可进行迭代操作。
具体的迭代的过程:可迭代对象通过__iter__方法返回迭代器,迭代器具有__next__方法,for循环不断地调用__next__方法,每次按序返回迭代器中的一个值,直到迭代到最后,没有更多元素时抛出异常StopIteration(python自动处理异常)。迭代的优点是无需把所有元素一次加载到内存中,可以在调用next方法时逐个返回元素,避免出现内存空间不够的情况。

>>> x = [1,2,3]
>>> its = x.__iter__() #列表是可迭代对象,否则会提示不是迭代对象
>>> its
<list_iterator object at 0x100f32198>
>>> next(its) # its包含此方法,说明its是迭代器
1
>>> next(its) 
2
>>>next(its) 
3
>>> next(its) 
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
StopIteration

Python遍历pandas数据方法总结

实现代码如下:

def haversine_looping(df):
disftance_list = []
for i in range(0,len(df)):
 disftance_list.append(df.iloc[i][‘high']/df.iloc[i][‘open'])
 return disftance_list

关于上述代码中range的实现方法,我们也可根据迭代器协议自实现相同功能的迭代器(自带iter方法和next方法)应用在for循环中,代码如下:

class MyRange:
 def __init__(self, num):
  self.i = 0
  self.num = num
 def __iter__(self):
  return self
 def __next__(self):
  if self.i < self.num:
  i = self.i
  self.i += 1
  return i
  else:
  raise StopIteration()
 for i in MyRange(10):
 print(i)

我们也可以通过列表解析的方式用更少的代码实现数据处理功能

disftance_list = [df.iloc[i][‘high']/df.iloc[i][‘open'] for i in range(0,len(df))]

iterrows()生成器方式

iterrows是对dataframe行进行迭代的一个生成器,它返回每行的索引及包含行本身的对象。所谓生成器其实是一种特殊的迭代器,内部支持了迭代器协议。Python中提供生成器函数和生成器表达式两种方式实现生成器,每次请求返回一个结果,不需要一次性构建一个结果列表,节省了内存空间。

生成器函数:编写为常规的def语句,但是使用yield语句一次返回一个结果,在每个结果之间挂起和继续它们的状态。

def gensquares(N):
 for i in range(N):
 yield i**2 
print gensquares(5)
for i in gensquares(5):
 print(i) 

<generator object gensquares at 0xb3d37fa4>
0
1
4
9
16

生成器表达式:类似列表解析,按需产生结果的一个对象。

print (x**2 for x in range(5))
print list(x**2 for x in range(5))
<generator object <genexpr> at 0xb3d31fa4>
[0, 1, 4, 9, 16]

iterrows()实现代码如下:

def haversine_looping(df):
disftance_list = []
for index,row in df.iterrows():
 disftance_list.append(row[‘high']/row[‘open'])
 return disftance_list

iterrows代码如下,yield语句挂起该函数并向调用者发送回一组值:

def iterrows(self):
 columns = self.columns
 klass = self._constructor_sliced
 for k, v in zip(self.index, self.values):
  s = klass(v, index=columns, name=k)
  yield k, s

apply()方法循环方式

apply()方法可将函数应用于dataframe特定行或列。函数由lambda方式在代码中内嵌实现,lambda函数的末尾包含axis参数,用来告知Pandas将函数运用于行(axis = 1)或者列(axis = 0)。

实现代码如下:

df.apply(lambda row: row[‘high']/row[‘open'], axis =1)

Pandas series 的矢量化方式

Pandas的DataFrame、series基础单元数据结构基于链表,因此可将函数在整个链表上进行矢量化操作,而不用按顺序执行每个值。Pandas包括了非常丰富的矢量化函数库,我们可把整个series(列)作为参数传递,对整个链表进行计算。

实现代码如下:

dftest4['rate'] = dftest4['high']/dftest4['open']

Numpy arrays的矢量化方式

由于函数的矢量化实现中只使用了series的数值,因此可使用values 方法将链表从Pandas series转换为NumPy arrays,把NumPy array作为参数传递,对整个链表进行计算。

实现代码如下:

dftest5['rate'] = dftest5['high'].values/dftest5['open'].values

总结

使用timeit方法对以上几种遍历方式进行执行时间测试,测试结果如下。可以看出循环执行的速度是最慢的,iterrows()针对Pandas的dataframe进行了优化,相比直接循环有显著提升。apply()方法也是在行之间进行循环,但由于利用了类似Cython的迭代器的一系列全局优化,其效率要比iterrows高很多。NumPy arrays的矢量化运行速度最快,其次是Pandas series矢量化。由于矢量化是同时作用于整个序列的,可以节省更多的时间,相比使用标量操作更好,NumPy使用预编译的C代码在底层进行优化,同时也避免了Pandas series操作过程中的很多开销,例如索引、数据类型等等,因此,NumPy arrays的操作要比Pandas series快得多。

Python 相关文章推荐
Python urlopen 使用小示例
Sep 06 Python
使用Django和Python创建Json response的方法
Mar 26 Python
python 递归深度优先搜索与广度优先搜索算法模拟实现
Oct 22 Python
python3 pygame实现接小球游戏
May 14 Python
python3 tkinter实现点击一个按钮跳出另一个窗口的方法
Jun 13 Python
python绘制BA无标度网络示例代码
Nov 21 Python
python scrapy重复执行实现代码详解
Dec 28 Python
python实现坦克大战
Apr 24 Python
Django QuerySet查询集原理及代码实例
Jun 13 Python
Python3实现建造者模式的示例代码
Jun 28 Python
关于Python 解决Python3.9 pandas.read_excel(‘xxx.xlsx‘)报错的问题
Nov 28 Python
关于python中readlines函数的参数hint的相关知识总结
Jun 24 Python
python中的闭包函数
Feb 09 #Python
基于Python socket的端口扫描程序实例代码
Feb 09 #Python
利用python 更新ssh 远程代码 操作远程服务器的实现代码
Feb 08 #Python
Tensorflow 利用tf.contrib.learn建立输入函数的方法
Feb 08 #Python
django数据库migrate失败的解决方法解析
Feb 08 #Python
python使用锁访问共享变量实例解析
Feb 08 #Python
Python异常对代码运行性能的影响实例解析
Feb 08 #Python
You might like
提高define性能的php扩展hidef的安装和使用
2011/06/14 PHP
使用PHP实现密保卡功能实现代码&amp;lt;打包下载直接运行&amp;gt;
2011/10/09 PHP
PHP弹出提示框并跳转到新页面即重定向到新页面
2014/01/24 PHP
js函数名与form表单元素同名冲突的问题
2014/03/07 Javascript
用jquery修复在iframe下的页面锚点失效问题
2014/08/22 Javascript
详解js闭包
2014/09/02 Javascript
javascript实现画不相交的圆
2015/04/07 Javascript
jQuery实现大图轮播
2017/02/13 Javascript
JavaScript之RegExp_动力节点Java学院整理
2017/06/29 Javascript
理解nodejs的stream和pipe机制的原理和实现
2017/08/12 NodeJs
javascript按钮禁用和启用的效果实例代码
2017/10/29 Javascript
Bootstrap 3多级下拉菜单实例
2017/11/23 Javascript
详解vue.js数据传递以及数据分发slot
2018/01/20 Javascript
vue返回上一页面时回到原先滚动的位置的方法
2018/12/20 Javascript
vue实现父子组件之间的通信以及兄弟组件的通信功能示例
2019/01/29 Javascript
详解Vue-cli3 项目在安卓低版本系统和IE上白屏问题解决
2019/04/14 Javascript
p5.js绘制旋转的正方形
2019/10/23 Javascript
小程序按钮避免多次调用接口和点击方案实现(不用showLoading)
2020/04/15 Javascript
Python实现周期性抓取网页内容的方法
2015/11/04 Python
Python实现的概率分布运算操作示例
2017/08/14 Python
彻底搞懂Python字符编码
2018/01/23 Python
Python编程求质数实例代码
2018/01/31 Python
python爬虫面试宝典(常见问题)
2018/03/02 Python
python如何使用socketserver模块实现并发聊天
2019/12/14 Python
python对文件的操作方法汇总
2020/02/28 Python
HTML5的新特性(1)
2016/03/03 HTML / CSS
蒂娜商店:Tiina the Store
2019/12/07 全球购物
人事科岗位职责范本
2014/03/02 职场文书
优秀员工评优方案
2014/06/13 职场文书
法学自荐信
2014/06/20 职场文书
村当支部个人对照检查材料思想汇报
2014/10/06 职场文书
本溪水洞导游词
2015/02/11 职场文书
三行辞职书范文
2015/02/26 职场文书
2015年护士节慰问信
2015/03/23 职场文书
裁员通知
2015/04/25 职场文书
PHP 技巧 * SVG 保存为图片(分享图生成)
2021/04/02 PHP