从列表或字典创建Pandas的DataFrame对象的方法


Posted in Python onJuly 06, 2019

从列表或字典创建Pandas的DataFrame对象的方法

介绍

每当我使用pandas进行分析时,我的第一个目标是使用众多可用选项中的一个将数据导入Pandas的DataFrame 。
对于绝大多数情况下,我使用的 read_excel , read_csv 或 read_sql 。

但是,有些情况下我只需要几行数据或包含这些数据里的一些计算。

在这些情况下,了解如何从标准python列表或字典创建DataFrames会很有帮助。

基本过程并不困难,但因为有几种不同的选择,所以有助于理解每种方法的工作原理。

我永远记不住我是否应该使用 from_dict , from_records , from_items 或默认的 DataFrame 构造函数。

通常情况下,通过一些反复试验和错误,我能搞定它。但由于它仍然让我感到困惑,我想我会通过以下几个例子来澄清这些不同的方法。

在本文的最后,我简要介绍了在生成Excel报表时如何使用它。

从Python的数据结构中生成DataFrame

您可以使用多种方法来获取标准python数据结构并创建Pandas的DataFrame。

出于这些示例的目的,我将为3个虚构公司创建一个包含3个月销售信息的DataFrame。

从列表或字典创建Pandas的DataFrame对象的方法

字典

在展示下面的示例之前,我假设已执行以下导入:

import pandas as pd
from collections import OrderedDict
from datetime import date

从python创建DataFrame的“默认”方式是使用字典列表。在这种情况下,每个字典键用于列标题。将自动创建默认索引:

sales = [{'account': 'Jones LLC', 'Jan': 150, 'Feb': 200, 'Mar': 140},
     {'account': 'Alpha Co', 'Jan': 200, 'Feb': 210, 'Mar': 215},
     {'account': 'Blue Inc', 'Jan': 50, 'Feb': 90, 'Mar': 95 }]
df = pd.DataFrame(sales)

从列表或字典创建Pandas的DataFrame对象的方法

如您所见,这种方法非常“面向行”。如果您想以“面向列”的方式创建DataFrame,您可以使用 from_dict

sales = {'account': ['Jones LLC', 'Alpha Co', 'Blue Inc'],
     'Jan': [150, 200, 50],sheng cheng
     'Feb': [200, 210, 90],
     'Mar': [140, 215, 95]}
df = pd.DataFrame.from_dict(sales)

使用此方法,您可以获得与上面相同的结果。需要考虑的关键点是哪种方法更容易理解您独特的使用场景。

有时,以面向行的方式获取数据更容易,而其他时候以列为导向的则更容易。

了解这些选项将有助于使您的代码更简单,更易于理解,以满足您的特定需求。

大多数人会注意到列的顺序看起来不对。这个问题出现的原因是标准的python字典不保留其键的顺序。

如果要控制列顺序,则有两种方式。

第一种,您可以手动重新排序列:

df = df[['account', 'Jan', 'Feb', 'Mar']]

或者你可以使用python中的OrderedDict 创建你的有序字典 。

sales = OrderedDict([ ('account', ['Jones LLC', 'Alpha Co', 'Blue Inc']),
     ('Jan', [150, 200, 50]),
     ('Feb', [200, 210, 90]),
     ('Mar', [140, 215, 95]) ] )
df = pd.DataFrame.from_dict(sales)

这两种方法都会按照您可能期望的顺序为您提供结果。

从列表或字典创建Pandas的DataFrame对象的方法

由于我在下面概述的原因,我倾向于专门重新排序我的列,尽管使用OrderedDict一直是一个很好理解的选项。

列表

从python创建DataFrame的另一个选择是将数据包含在列表结构中。
第一种方法是使用pandas进行面向行的方法 from_records 。此方法类似于字典方法,但您需要显式调出列标签。

sales = [('Jones LLC', 150, 200, 50),
     ('Alpha Co', 200, 210, 90),
     ('Blue Inc', 140, 215, 95)]
labels = ['account', 'Jan', 'Feb', 'Mar']
df = pd.DataFrame.from_records(sales, columns=labels)

第二种方法是 from_items 面向列的,实际上看起来类似于 OrderedDict 上面的例子。

sales = [('account', ['Jones LLC', 'Alpha Co', 'Blue Inc']),
     ('Jan', [150, 200, 50]),
     ('Feb', [200, 210, 90]),
     ('Mar', [140, 215, 95]),
     ]
df = pd.DataFrame.from_items(sales)

这两个示例都将生成以下DataFrame:

从列表或字典创建Pandas的DataFrame对象的方法

各种选项的直观总结

为了保持各种选项在我的脑海中清晰,我将这个简单的图形放在一起,以显示字典与列表选项以及行与列导向的方法。

这是一个2X2的网格,所以我希望所有来询问的人都留下深刻的印象!

从列表或字典创建Pandas的DataFrame对象的方法

为简单起见,我没有展示 OrderedDict 方法,因为这种 from_items 方法可能更像是一个现实世界的解决方案。

如果这有点难以阅读,您也可以获得PDF版本。

简单的例子

对于一个简单的概念,这似乎有很多解释。

但是,我经常使用这些方法来构建小型DataFrame,并将其与更复杂的分析结合起来。

举一个例子,假设我们要保存我们的DataFrame并包含一个页脚,以便我们知道它何时被创建以及它是由谁创建的。
如果我们填充DataFrame并将其写入Excel比我们尝试将单个单元格写入Excel更容易。

拿我们现有的DataFrame:

sales = [('account', ['Jones LLC', 'Alpha Co', 'Blue Inc']),
     ('Jan', [150, 200, 50]),
     ('Feb', [200, 210, 90]),
     ('Mar', [140, 215, 95]),
     ]
df = pd.DataFrame.from_items(sales)

现在构建一个页脚(以列为导向):

from datetime import date

create_date = "{:%m-%d-%Y}".format(date.today())
created_by = "CM"
footer = [('Created by', [created_by]), ('Created on', [create_date]), ('Version', [1.1])]
df_footer = pd.DataFrame.from_items(footer)

从列表或字典创建Pandas的DataFrame对象的方法

合并进入一个Excel中的一个sheet:

writer = pd.ExcelWriter('simple-report.xlsx', engine='xlsxwriter')
df.to_excel(writer, index=False)
df_footer.to_excel(writer, startrow=6, index=False)
writer.save()

从列表或字典创建Pandas的DataFrame对象的方法

这里的秘诀是使用 startrow 在销售数据框架下面写入页脚DataFrame。还有一个相应的startcol,所以你可以控制成为你想要的列布局。

这使得基本 to_excel 功能具有很大的灵活性。

总结

大多数Pandas用户很快就熟悉了电子表格,CSV和SQL数据的摄取。

但是,有时您会在基本列表或字典中包含数据并希望填充DataFrame。

Pandas提供了几种选择,但可能并不总是立即明确何时使用哪种选择。

没有一种方法是“最好的”,它实际上取决于您的需求。

我倾向于喜欢基于列表的方法,因为我通常关心排序,列表确保我保留顺序。

最重要的是要知道这些选项是可用的,这样您就可以聪明地使用最简单的选项来满足您的特定情况。

从表面上看,这些代码样例看似简单,但我发现使用这些方法生成快速的信息片非常常见,他们可以增加或澄清更复杂的分析。

DataFrame中数据的好处在于它很容易转换为其他格式,如Excel,CSV, HTML,LaTeX等。

这种灵活性对于临时报告生成非常方便。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 获取本机ip地址的两个方法
Feb 25 Python
Python实现删除Android工程中的冗余字符串
Jan 19 Python
打包发布Python模块的方法详解
Sep 18 Python
python使用xpath中遇到:到底是什么?
Jan 04 Python
Python 实现字符串中指定位置插入一个字符
May 02 Python
Python 从相对路径下import的方法
Dec 04 Python
使用PYTHON解析Wireshark的PCAP文件方法
Jul 23 Python
使用python实现希尔、计数、基数基础排序的代码
Dec 25 Python
Python Sphinx使用实例及问题解决
Jan 17 Python
序列化Python对象的方法
Aug 01 Python
python zip()函数的使用示例
Sep 23 Python
pandas取dataframe特定行列的实现方法
May 24 Python
pandas的qcut()方法详解
Jul 06 #Python
pandas 层次化索引的实现方法
Jul 06 #Python
pandas删除行删除列增加行增加列的实现
Jul 06 #Python
Python使用Pandas库实现MySQL数据库的读写
Jul 06 #Python
python 实现的发送邮件模板【普通邮件、带附件、带图片邮件】
Jul 06 #Python
Python 微信爬虫完整实例【单线程与多线程】
Jul 06 #Python
python实现爬取百度图片的方法示例
Jul 06 #Python
You might like
全国FM电台频率大全 - 16 河南省
2020/03/11 无线电
PHP中$this和$that指针使用实例
2015/01/06 PHP
PHP使用Pear发送邮件(Windows环境)
2016/01/05 PHP
PHP解压tar.gz格式文件的方法
2016/02/14 PHP
PHP基于IMAP收取邮件的方法示例
2017/08/07 PHP
删除重复数据的算法
2006/11/23 Javascript
一些常用弹出窗口/拖放/异步文件上传等实用代码
2013/01/06 Javascript
JavaScript中的style.display属性操作
2013/03/27 Javascript
JavaScript通过元素的ID和name设置样式
2014/07/08 Javascript
node.js中的favicon.ico请求问题处理
2014/12/15 Javascript
jquery实现对联广告的方法
2015/02/05 Javascript
Node.js返回JSONP详解
2016/05/18 Javascript
mvc中form表单提交的三种方式(推荐)
2016/08/10 Javascript
深入理解Node.js的HTTP模块
2016/10/12 Javascript
javascript添加前置0(补零)的几种方法
2017/01/05 Javascript
详解Vue学习笔记进阶篇之列表过渡及其他
2017/07/17 Javascript
JS中getElementsByClassName与classList兼容性问题解决方案分析
2019/08/07 Javascript
小程序使用分包的示例代码
2020/03/23 Javascript
Python的Django框架中if标签的相关使用
2015/07/15 Python
python reduce 函数使用详解
2017/12/05 Python
Python排序搜索基本算法之归并排序实例分析
2017/12/08 Python
python如何求数组连续最大和的示例代码
2020/02/04 Python
tensorflow模型转ncnn的操作方式
2020/05/25 Python
pytorch随机采样操作SubsetRandomSampler()
2020/07/07 Python
python3 通过 pybind11 使用Eigen加速代码的步骤详解
2020/12/07 Python
阿拉伯世界最大的电子卖场:Souq埃及
2016/08/01 全球购物
PAUL HEWITT手表美国站:德国北部时尚生活配饰品牌,船锚元素
2017/11/18 全球购物
周仰杰(JIMMY CHOO)法国官方网站:闻名世界的鞋子品牌
2019/09/27 全球购物
大学老师推荐信
2014/02/25 职场文书
初中毕业生的自我评价
2014/03/03 职场文书
企业安全生产承诺书
2014/05/22 职场文书
党的群众路线教育实践活动查摆问题自查报告
2014/10/10 职场文书
餐厅服务员岗位职责
2015/02/09 职场文书
2015年管理人员工作总结
2015/05/13 职场文书
golang 如何用反射reflect操作结构体
2021/04/28 Golang
SpringBoot整合Redis入门之缓存数据的方法
2021/11/17 Redis