从列表或字典创建Pandas的DataFrame对象的方法


Posted in Python onJuly 06, 2019

从列表或字典创建Pandas的DataFrame对象的方法

介绍

每当我使用pandas进行分析时,我的第一个目标是使用众多可用选项中的一个将数据导入Pandas的DataFrame 。
对于绝大多数情况下,我使用的 read_excel , read_csv 或 read_sql 。

但是,有些情况下我只需要几行数据或包含这些数据里的一些计算。

在这些情况下,了解如何从标准python列表或字典创建DataFrames会很有帮助。

基本过程并不困难,但因为有几种不同的选择,所以有助于理解每种方法的工作原理。

我永远记不住我是否应该使用 from_dict , from_records , from_items 或默认的 DataFrame 构造函数。

通常情况下,通过一些反复试验和错误,我能搞定它。但由于它仍然让我感到困惑,我想我会通过以下几个例子来澄清这些不同的方法。

在本文的最后,我简要介绍了在生成Excel报表时如何使用它。

从Python的数据结构中生成DataFrame

您可以使用多种方法来获取标准python数据结构并创建Pandas的DataFrame。

出于这些示例的目的,我将为3个虚构公司创建一个包含3个月销售信息的DataFrame。

从列表或字典创建Pandas的DataFrame对象的方法

字典

在展示下面的示例之前,我假设已执行以下导入:

import pandas as pd
from collections import OrderedDict
from datetime import date

从python创建DataFrame的“默认”方式是使用字典列表。在这种情况下,每个字典键用于列标题。将自动创建默认索引:

sales = [{'account': 'Jones LLC', 'Jan': 150, 'Feb': 200, 'Mar': 140},
     {'account': 'Alpha Co', 'Jan': 200, 'Feb': 210, 'Mar': 215},
     {'account': 'Blue Inc', 'Jan': 50, 'Feb': 90, 'Mar': 95 }]
df = pd.DataFrame(sales)

从列表或字典创建Pandas的DataFrame对象的方法

如您所见,这种方法非常“面向行”。如果您想以“面向列”的方式创建DataFrame,您可以使用 from_dict

sales = {'account': ['Jones LLC', 'Alpha Co', 'Blue Inc'],
     'Jan': [150, 200, 50],sheng cheng
     'Feb': [200, 210, 90],
     'Mar': [140, 215, 95]}
df = pd.DataFrame.from_dict(sales)

使用此方法,您可以获得与上面相同的结果。需要考虑的关键点是哪种方法更容易理解您独特的使用场景。

有时,以面向行的方式获取数据更容易,而其他时候以列为导向的则更容易。

了解这些选项将有助于使您的代码更简单,更易于理解,以满足您的特定需求。

大多数人会注意到列的顺序看起来不对。这个问题出现的原因是标准的python字典不保留其键的顺序。

如果要控制列顺序,则有两种方式。

第一种,您可以手动重新排序列:

df = df[['account', 'Jan', 'Feb', 'Mar']]

或者你可以使用python中的OrderedDict 创建你的有序字典 。

sales = OrderedDict([ ('account', ['Jones LLC', 'Alpha Co', 'Blue Inc']),
     ('Jan', [150, 200, 50]),
     ('Feb', [200, 210, 90]),
     ('Mar', [140, 215, 95]) ] )
df = pd.DataFrame.from_dict(sales)

这两种方法都会按照您可能期望的顺序为您提供结果。

从列表或字典创建Pandas的DataFrame对象的方法

由于我在下面概述的原因,我倾向于专门重新排序我的列,尽管使用OrderedDict一直是一个很好理解的选项。

列表

从python创建DataFrame的另一个选择是将数据包含在列表结构中。
第一种方法是使用pandas进行面向行的方法 from_records 。此方法类似于字典方法,但您需要显式调出列标签。

sales = [('Jones LLC', 150, 200, 50),
     ('Alpha Co', 200, 210, 90),
     ('Blue Inc', 140, 215, 95)]
labels = ['account', 'Jan', 'Feb', 'Mar']
df = pd.DataFrame.from_records(sales, columns=labels)

第二种方法是 from_items 面向列的,实际上看起来类似于 OrderedDict 上面的例子。

sales = [('account', ['Jones LLC', 'Alpha Co', 'Blue Inc']),
     ('Jan', [150, 200, 50]),
     ('Feb', [200, 210, 90]),
     ('Mar', [140, 215, 95]),
     ]
df = pd.DataFrame.from_items(sales)

这两个示例都将生成以下DataFrame:

从列表或字典创建Pandas的DataFrame对象的方法

各种选项的直观总结

为了保持各种选项在我的脑海中清晰,我将这个简单的图形放在一起,以显示字典与列表选项以及行与列导向的方法。

这是一个2X2的网格,所以我希望所有来询问的人都留下深刻的印象!

从列表或字典创建Pandas的DataFrame对象的方法

为简单起见,我没有展示 OrderedDict 方法,因为这种 from_items 方法可能更像是一个现实世界的解决方案。

如果这有点难以阅读,您也可以获得PDF版本。

简单的例子

对于一个简单的概念,这似乎有很多解释。

但是,我经常使用这些方法来构建小型DataFrame,并将其与更复杂的分析结合起来。

举一个例子,假设我们要保存我们的DataFrame并包含一个页脚,以便我们知道它何时被创建以及它是由谁创建的。
如果我们填充DataFrame并将其写入Excel比我们尝试将单个单元格写入Excel更容易。

拿我们现有的DataFrame:

sales = [('account', ['Jones LLC', 'Alpha Co', 'Blue Inc']),
     ('Jan', [150, 200, 50]),
     ('Feb', [200, 210, 90]),
     ('Mar', [140, 215, 95]),
     ]
df = pd.DataFrame.from_items(sales)

现在构建一个页脚(以列为导向):

from datetime import date

create_date = "{:%m-%d-%Y}".format(date.today())
created_by = "CM"
footer = [('Created by', [created_by]), ('Created on', [create_date]), ('Version', [1.1])]
df_footer = pd.DataFrame.from_items(footer)

从列表或字典创建Pandas的DataFrame对象的方法

合并进入一个Excel中的一个sheet:

writer = pd.ExcelWriter('simple-report.xlsx', engine='xlsxwriter')
df.to_excel(writer, index=False)
df_footer.to_excel(writer, startrow=6, index=False)
writer.save()

从列表或字典创建Pandas的DataFrame对象的方法

这里的秘诀是使用 startrow 在销售数据框架下面写入页脚DataFrame。还有一个相应的startcol,所以你可以控制成为你想要的列布局。

这使得基本 to_excel 功能具有很大的灵活性。

总结

大多数Pandas用户很快就熟悉了电子表格,CSV和SQL数据的摄取。

但是,有时您会在基本列表或字典中包含数据并希望填充DataFrame。

Pandas提供了几种选择,但可能并不总是立即明确何时使用哪种选择。

没有一种方法是“最好的”,它实际上取决于您的需求。

我倾向于喜欢基于列表的方法,因为我通常关心排序,列表确保我保留顺序。

最重要的是要知道这些选项是可用的,这样您就可以聪明地使用最简单的选项来满足您的特定情况。

从表面上看,这些代码样例看似简单,但我发现使用这些方法生成快速的信息片非常常见,他们可以增加或澄清更复杂的分析。

DataFrame中数据的好处在于它很容易转换为其他格式,如Excel,CSV, HTML,LaTeX等。

这种灵活性对于临时报告生成非常方便。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python ElementTree 基本读操作示例
Apr 09 Python
python操作mysql中文显示乱码的解决方法
Oct 11 Python
Python中AND、OR的一个使用小技巧
Feb 18 Python
在RedHat系Linux上部署Python的Celery框架的教程
Apr 07 Python
Python中用字符串调用函数或方法示例代码
Aug 04 Python
PyQt5每天必学之布局管理
Apr 19 Python
PyQt5的PyQtGraph实践系列3之实时数据更新绘制图形
May 13 Python
django数据模型on_delete, db_constraint的使用详解
Dec 24 Python
python实现图书馆抢座(自动预约)功能的示例代码
Sep 29 Python
python绘图pyecharts+pandas的使用详解
Dec 13 Python
python实现xml转json文件的示例代码
Dec 30 Python
Python insert() / append() 用法 Leetcode实战演示
Mar 31 Python
pandas的qcut()方法详解
Jul 06 #Python
pandas 层次化索引的实现方法
Jul 06 #Python
pandas删除行删除列增加行增加列的实现
Jul 06 #Python
Python使用Pandas库实现MySQL数据库的读写
Jul 06 #Python
python 实现的发送邮件模板【普通邮件、带附件、带图片邮件】
Jul 06 #Python
Python 微信爬虫完整实例【单线程与多线程】
Jul 06 #Python
python实现爬取百度图片的方法示例
Jul 06 #Python
You might like
通俗易懂的php防注入代码
2010/04/07 PHP
PHP简单读取xml文件的方法示例
2017/04/20 PHP
PHP _construct()函数讲解
2019/02/03 PHP
YII2框架中添加自定义模块的方法实例分析
2020/03/18 PHP
php实现对短信验证码发送次数的限制实例讲解
2021/03/04 PHP
$()JS小技巧
2007/07/21 Javascript
Ext第一周 史上最强学习笔记---GridPanel(基础篇)
2008/12/29 Javascript
Firebug 字幕文件JSON地址获取代码
2009/10/28 Javascript
jquery中文乱码的多种解决方法
2013/06/21 Javascript
js 单击式的下拉菜单效果实例
2013/08/13 Javascript
jQuery 追加元素的方法如append、prepend、before
2014/01/16 Javascript
动态显示可输入的字数提示还可以输入的字数
2014/04/01 Javascript
jQuery动画特效实例教程
2014/08/29 Javascript
一个不错的仿携程自定义数据下拉选择select
2014/09/01 Javascript
JS实现字符串转驼峰格式的方法
2016/12/16 Javascript
EasyUI学习之DataGird分页显示数据
2016/12/29 Javascript
vue 实现左右拖拽元素并且不超过他的父元素的宽度
2018/11/30 Javascript
Node.js Windows Binary二进制文件安装方法
2019/05/16 Javascript
JS Web Flex弹性盒子模型代码实例
2020/03/10 Javascript
在vue中使用Base64转码的案例
2020/08/07 Javascript
python2.6.6如何升级到python2.7.14
2018/04/08 Python
详解基于django实现的webssh简单例子
2018/07/17 Python
关于pycharm中pip版本10.0无法使用的解决办法
2019/10/10 Python
python实现的汉诺塔算法示例
2019/10/23 Python
python 实现list或string按指定分段
2019/12/25 Python
Python实现手势识别
2020/10/21 Python
英国香水店:The Perfume Shop
2017/03/27 全球购物
Subside Sports德国:足球球衣和球迷商品
2019/06/08 全球购物
药学专业大学生个人的自我评价
2013/11/04 职场文书
土建专业大学生自荐信范文
2014/04/09 职场文书
党的群众路线教育实践活动党员个人剖析材料
2014/10/08 职场文书
学校端午节活动总结
2015/02/11 职场文书
酒店员工辞职信范文
2015/02/28 职场文书
高中生个性发展自我评价
2015/03/09 职场文书
涨工资申请书应该怎么写?
2019/07/08 职场文书
Golang并发操作中常见的读写锁详析
2021/08/30 Golang