从列表或字典创建Pandas的DataFrame对象的方法


Posted in Python onJuly 06, 2019

从列表或字典创建Pandas的DataFrame对象的方法

介绍

每当我使用pandas进行分析时,我的第一个目标是使用众多可用选项中的一个将数据导入Pandas的DataFrame 。
对于绝大多数情况下,我使用的 read_excel , read_csv 或 read_sql 。

但是,有些情况下我只需要几行数据或包含这些数据里的一些计算。

在这些情况下,了解如何从标准python列表或字典创建DataFrames会很有帮助。

基本过程并不困难,但因为有几种不同的选择,所以有助于理解每种方法的工作原理。

我永远记不住我是否应该使用 from_dict , from_records , from_items 或默认的 DataFrame 构造函数。

通常情况下,通过一些反复试验和错误,我能搞定它。但由于它仍然让我感到困惑,我想我会通过以下几个例子来澄清这些不同的方法。

在本文的最后,我简要介绍了在生成Excel报表时如何使用它。

从Python的数据结构中生成DataFrame

您可以使用多种方法来获取标准python数据结构并创建Pandas的DataFrame。

出于这些示例的目的,我将为3个虚构公司创建一个包含3个月销售信息的DataFrame。

从列表或字典创建Pandas的DataFrame对象的方法

字典

在展示下面的示例之前,我假设已执行以下导入:

import pandas as pd
from collections import OrderedDict
from datetime import date

从python创建DataFrame的“默认”方式是使用字典列表。在这种情况下,每个字典键用于列标题。将自动创建默认索引:

sales = [{'account': 'Jones LLC', 'Jan': 150, 'Feb': 200, 'Mar': 140},
     {'account': 'Alpha Co', 'Jan': 200, 'Feb': 210, 'Mar': 215},
     {'account': 'Blue Inc', 'Jan': 50, 'Feb': 90, 'Mar': 95 }]
df = pd.DataFrame(sales)

从列表或字典创建Pandas的DataFrame对象的方法

如您所见,这种方法非常“面向行”。如果您想以“面向列”的方式创建DataFrame,您可以使用 from_dict

sales = {'account': ['Jones LLC', 'Alpha Co', 'Blue Inc'],
     'Jan': [150, 200, 50],sheng cheng
     'Feb': [200, 210, 90],
     'Mar': [140, 215, 95]}
df = pd.DataFrame.from_dict(sales)

使用此方法,您可以获得与上面相同的结果。需要考虑的关键点是哪种方法更容易理解您独特的使用场景。

有时,以面向行的方式获取数据更容易,而其他时候以列为导向的则更容易。

了解这些选项将有助于使您的代码更简单,更易于理解,以满足您的特定需求。

大多数人会注意到列的顺序看起来不对。这个问题出现的原因是标准的python字典不保留其键的顺序。

如果要控制列顺序,则有两种方式。

第一种,您可以手动重新排序列:

df = df[['account', 'Jan', 'Feb', 'Mar']]

或者你可以使用python中的OrderedDict 创建你的有序字典 。

sales = OrderedDict([ ('account', ['Jones LLC', 'Alpha Co', 'Blue Inc']),
     ('Jan', [150, 200, 50]),
     ('Feb', [200, 210, 90]),
     ('Mar', [140, 215, 95]) ] )
df = pd.DataFrame.from_dict(sales)

这两种方法都会按照您可能期望的顺序为您提供结果。

从列表或字典创建Pandas的DataFrame对象的方法

由于我在下面概述的原因,我倾向于专门重新排序我的列,尽管使用OrderedDict一直是一个很好理解的选项。

列表

从python创建DataFrame的另一个选择是将数据包含在列表结构中。
第一种方法是使用pandas进行面向行的方法 from_records 。此方法类似于字典方法,但您需要显式调出列标签。

sales = [('Jones LLC', 150, 200, 50),
     ('Alpha Co', 200, 210, 90),
     ('Blue Inc', 140, 215, 95)]
labels = ['account', 'Jan', 'Feb', 'Mar']
df = pd.DataFrame.from_records(sales, columns=labels)

第二种方法是 from_items 面向列的,实际上看起来类似于 OrderedDict 上面的例子。

sales = [('account', ['Jones LLC', 'Alpha Co', 'Blue Inc']),
     ('Jan', [150, 200, 50]),
     ('Feb', [200, 210, 90]),
     ('Mar', [140, 215, 95]),
     ]
df = pd.DataFrame.from_items(sales)

这两个示例都将生成以下DataFrame:

从列表或字典创建Pandas的DataFrame对象的方法

各种选项的直观总结

为了保持各种选项在我的脑海中清晰,我将这个简单的图形放在一起,以显示字典与列表选项以及行与列导向的方法。

这是一个2X2的网格,所以我希望所有来询问的人都留下深刻的印象!

从列表或字典创建Pandas的DataFrame对象的方法

为简单起见,我没有展示 OrderedDict 方法,因为这种 from_items 方法可能更像是一个现实世界的解决方案。

如果这有点难以阅读,您也可以获得PDF版本。

简单的例子

对于一个简单的概念,这似乎有很多解释。

但是,我经常使用这些方法来构建小型DataFrame,并将其与更复杂的分析结合起来。

举一个例子,假设我们要保存我们的DataFrame并包含一个页脚,以便我们知道它何时被创建以及它是由谁创建的。
如果我们填充DataFrame并将其写入Excel比我们尝试将单个单元格写入Excel更容易。

拿我们现有的DataFrame:

sales = [('account', ['Jones LLC', 'Alpha Co', 'Blue Inc']),
     ('Jan', [150, 200, 50]),
     ('Feb', [200, 210, 90]),
     ('Mar', [140, 215, 95]),
     ]
df = pd.DataFrame.from_items(sales)

现在构建一个页脚(以列为导向):

from datetime import date

create_date = "{:%m-%d-%Y}".format(date.today())
created_by = "CM"
footer = [('Created by', [created_by]), ('Created on', [create_date]), ('Version', [1.1])]
df_footer = pd.DataFrame.from_items(footer)

从列表或字典创建Pandas的DataFrame对象的方法

合并进入一个Excel中的一个sheet:

writer = pd.ExcelWriter('simple-report.xlsx', engine='xlsxwriter')
df.to_excel(writer, index=False)
df_footer.to_excel(writer, startrow=6, index=False)
writer.save()

从列表或字典创建Pandas的DataFrame对象的方法

这里的秘诀是使用 startrow 在销售数据框架下面写入页脚DataFrame。还有一个相应的startcol,所以你可以控制成为你想要的列布局。

这使得基本 to_excel 功能具有很大的灵活性。

总结

大多数Pandas用户很快就熟悉了电子表格,CSV和SQL数据的摄取。

但是,有时您会在基本列表或字典中包含数据并希望填充DataFrame。

Pandas提供了几种选择,但可能并不总是立即明确何时使用哪种选择。

没有一种方法是“最好的”,它实际上取决于您的需求。

我倾向于喜欢基于列表的方法,因为我通常关心排序,列表确保我保留顺序。

最重要的是要知道这些选项是可用的,这样您就可以聪明地使用最简单的选项来满足您的特定情况。

从表面上看,这些代码样例看似简单,但我发现使用这些方法生成快速的信息片非常常见,他们可以增加或澄清更复杂的分析。

DataFrame中数据的好处在于它很容易转换为其他格式,如Excel,CSV, HTML,LaTeX等。

这种灵活性对于临时报告生成非常方便。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python通过BF算法实现关键词匹配的方法
Mar 13 Python
Python实现简单多线程任务队列
Feb 27 Python
python 实现删除文件或文件夹实例详解
Dec 04 Python
Python基于property实现类的特性操作示例
Jun 15 Python
python 读取视频,处理后,实时计算帧数fps的方法
Jul 10 Python
Python迭代器与生成器基本用法分析
Jul 26 Python
浅谈python脚本设置运行参数的方法
Dec 03 Python
Python实现 PS 图像调整中的亮度调整
Jun 28 Python
NumPy排序的实现
Jan 21 Python
Python图像处理库PIL的ImageDraw模块介绍详解
Feb 26 Python
Python使用struct处理二进制(pack和unpack用法)
Nov 12 Python
python缺失值填充方法示例代码
Dec 24 Python
pandas的qcut()方法详解
Jul 06 #Python
pandas 层次化索引的实现方法
Jul 06 #Python
pandas删除行删除列增加行增加列的实现
Jul 06 #Python
Python使用Pandas库实现MySQL数据库的读写
Jul 06 #Python
python 实现的发送邮件模板【普通邮件、带附件、带图片邮件】
Jul 06 #Python
Python 微信爬虫完整实例【单线程与多线程】
Jul 06 #Python
python实现爬取百度图片的方法示例
Jul 06 #Python
You might like
php中计算中文字符串长度、截取中文字符串的函数代码
2011/08/09 PHP
PHP表单验证的3个函数ISSET()、empty()、is_numeric()的使用方法
2011/08/22 PHP
国外PHP程序员的13个好习惯小结
2012/02/20 PHP
php中使用__autoload()自动加载未定义类的实现代码
2013/02/06 PHP
php笔记之:AOP的应用
2013/04/24 PHP
php面向对象中static静态属性与方法的内存位置分析
2015/02/08 PHP
php利用ffmpeg提取视频中音频与视频画面的方法详解
2017/06/07 PHP
PHP Swoole异步Redis客户端实现方法示例
2019/10/24 PHP
PHP实现随机发扑克牌
2020/04/22 PHP
兼容多浏览器的iframe自适应高度(ie8 、谷歌浏览器4.0和 firefox3.5.3)
2009/11/04 Javascript
jQuery EasyUI API 中文文档 - MenuButton菜单按钮使用介绍
2011/10/06 Javascript
JS的千分位算法实现思路
2013/07/31 Javascript
Javascript浅谈之引用类型
2013/12/18 Javascript
创建js对象和js类的方法汇总
2014/12/24 Javascript
js常用系统函数用法实例分析
2015/01/12 Javascript
Redis基本知识、安装、部署、配置笔记
2015/03/05 Javascript
基于jQuery.Hz2Py.js插件实现的汉字转拼音特效
2015/05/07 Javascript
基于Jquery+div+css实现弹出登录窗口(代码超简单)
2015/10/27 Javascript
JS实现图片垂直居中显示小结
2016/12/13 Javascript
Vue列表如何实现滚动到指定位置样式改变效果
2020/05/09 Javascript
Python 制作糗事百科爬虫实例
2016/09/22 Python
Python实现全角半角字符互转的方法
2016/11/28 Python
详解如何将python3.6软件的py文件打包成exe程序
2018/10/09 Python
python 获取url中的参数列表实例
2018/12/18 Python
python多线程同步实例教程
2019/08/11 Python
python 哈希表实现简单python字典代码实例
2019/09/27 Python
Python3直接爬取图片URL并保存示例
2019/12/18 Python
Python面向对象封装操作案例详解
2019/12/31 Python
关于Python turtle库使用时坐标的确定方法
2020/03/19 Python
浅谈Pycharm的项目文件名是红色的原因及解决方式
2020/06/01 Python
Python基于pyjnius库实现访问java类
2020/07/31 Python
canvas之自定义头像功能实现代码示例
2017/09/29 HTML / CSS
学雷锋团日活动总结
2015/05/06 职场文书
村主任当选感言
2015/08/01 职场文书
九年级英语教学反思
2016/02/15 职场文书
零基础学java之带参数以及返回值的方法
2022/04/10 Java/Android