Python 数据的累加与统计的示例代码


Posted in Python onAugust 03, 2020

问题

你需要处理一个很大的数据集并需要计算数据总和或其他统计量。

解决方案

对于任何涉及到统计、时间序列以及其他相关技术的数据分析问题,都可以考虑使用 Pandas库 。

为了让你先体验下,下面是一个使用Pandas来分析芝加哥城市的 老鼠和啮齿类动物数据库 的例子。 在我写这篇文章的时候,这个数据库是一个拥有大概74,000行数据的CSV文件。

>>> import pandas

>>> # Read a CSV file, skipping last line
>>> rats = pandas.read_csv('rats.csv', skip_footer=1)
>>> rats
<class 'pandas.core.frame.DataFrame'>
Int64Index: 74055 entries, 0 to 74054
Data columns:
Creation Date 74055 non-null values
Status 74055 non-null values
Completion Date 72154 non-null values
Service Request Number 74055 non-null values
Type of Service Request 74055 non-null values
Number of Premises Baited 65804 non-null values
Number of Premises with Garbage 65600 non-null values
Number of Premises with Rats 65752 non-null values
Current Activity 66041 non-null values
Most Recent Action 66023 non-null values
Street Address 74055 non-null values
ZIP Code 73584 non-null values
X Coordinate 74043 non-null values
Y Coordinate 74043 non-null values
Ward 74044 non-null values
Police District 74044 non-null values
Community Area 74044 non-null values
Latitude 74043 non-null values
Longitude 74043 non-null values
Location 74043 non-null values
dtypes: float64(11), object(9)

>>> # Investigate range of values for a certain field
>>> rats['Current Activity'].unique()
array([nan, Dispatch Crew, Request Sanitation Inspector], dtype=object)
>>> # Filter the data
>>> crew_dispatched = rats[rats['Current Activity'] == 'Dispatch Crew']
>>> len(crew_dispatched)
65676
>>>

>>> # Find 10 most rat-infested ZIP codes in Chicago
>>> crew_dispatched['ZIP Code'].value_counts()[:10]
60647 3837
60618 3530
60614 3284
60629 3251
60636 2801
60657 2465
60641 2238
60609 2206
60651 2152
60632 2071
>>>

>>> # Group by completion date
>>> dates = crew_dispatched.groupby('Completion Date')
<pandas.core.groupby.DataFrameGroupBy object at 0x10d0a2a10>
>>> len(dates)
472
>>>

>>> # Determine counts on each day
>>> date_counts = dates.size()
>>> date_counts[0:10]
Completion Date
01/03/2011 4
01/03/2012 125
01/04/2011 54
01/04/2012 38
01/05/2011 78
01/05/2012 100
01/06/2011 100
01/06/2012 58
01/07/2011 1
01/09/2012 12
>>>

>>> # Sort the counts
>>> date_counts.sort()
>>> date_counts[-10:]
Completion Date
10/12/2012 313
10/21/2011 314
09/20/2011 316
10/26/2011 319
02/22/2011 325
10/26/2012 333
03/17/2011 336
10/13/2011 378
10/14/2011 391
10/07/2011 457
>>>

嗯,看样子2011年10月7日对老鼠们来说是个很忙碌的日子啊!^_^

讨论

Pandas是一个拥有很多特性的大型函数库,我在这里不可能介绍完。 但是只要你需要去分析大型数据集合、对数据分组、计算各种统计量或其他类似任务的话,这个函数库真的值得你去看一看。

以上就是Python 数据的累加与统计的方法的详细内容,更多关于Python 数据的累加与统计的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python模拟登录12306的方法
Dec 30 Python
Python通过递归遍历出集合中所有元素的方法
Feb 25 Python
使用pyecharts无法import Bar的解决方案
Apr 23 Python
Python OpenCV获取视频的方法
Feb 28 Python
python脚本生成caffe train_list.txt的方法
Apr 27 Python
小白入门篇使用Python搭建点击率预估模型
Oct 12 Python
python通过配置文件共享全局变量的实例
Jan 11 Python
django最快程序开发流程详解
Jul 19 Python
Python如何存储数据到json文件
Mar 09 Python
Python headers请求头如何实现快速添加
Nov 03 Python
Python中读取文件名中的数字的实例详解
Dec 25 Python
Python中Pyspider爬虫框架的基本使用详解
Jan 27 Python
Python 爬虫性能相关总结
Aug 03 #Python
python接口自动化之ConfigParser配置文件的使用详解
Aug 03 #Python
Python 利用OpenCV给照片换底色的示例代码
Aug 03 #Python
Python3基于plotly模块保存图片表格
Aug 03 #Python
详解Python的爬虫框架 Scrapy
Aug 03 #Python
Python利用Faiss库实现ANN近邻搜索的方法详解
Aug 03 #Python
Python pexpect模块及shell脚本except原理解析
Aug 03 #Python
You might like
php计算几分钟前、几小时前、几天前的几个函数、类分享
2014/04/09 PHP
ThinkPHP内置jsonRPC的缺陷分析
2014/12/18 PHP
php中Redis的应用--消息传递
2017/03/28 PHP
PHP读取CSV大文件导入数据库的实例
2017/07/24 PHP
在JavaScript中使用inline函数的问题
2007/03/08 Javascript
js插件设置innerHTML时在IE8下提示“未知运行时错误”解决方法
2015/04/25 Javascript
浅谈jquery选择器 :first与:first-child的区别
2016/11/20 Javascript
Vue.js实战之组件的进阶
2017/04/04 Javascript
详解vue跨组件通信的几种方法
2017/06/15 Javascript
JavaScript ES6中const、let与var的对比详解
2017/06/18 Javascript
Vue 多层组件嵌套二种实现方式(测试实例)
2017/09/08 Javascript
vue获取input输入值的问题解决办法
2017/10/17 Javascript
javaScript强制保留两位小数的输入数校验和小数保留问题
2018/05/09 Javascript
Vue子组件向父组件通信与父组件调用子组件中的方法
2018/06/22 Javascript
解决vue attr取不到属性值的问题
2018/09/18 Javascript
vue中使用codemirror的实例详解
2018/11/01 Javascript
vue数据操作之点击事件实现num加减功能示例
2019/01/19 Javascript
微信小程序之数据绑定原理解析
2019/08/14 Javascript
vue+vant-UI框架实现购物车的复选框全选和反选功能
2019/11/05 Javascript
[08:08]DOTA2-DPC中国联赛2月28日Recap集锦
2021/03/11 DOTA
python打开url并按指定块读取网页内容的方法
2015/04/29 Python
Python实现监控程序执行时间并将其写入日志的方法
2015/06/30 Python
Python利用IPython提高开发效率
2016/08/10 Python
教你用python3根据关键词爬取百度百科的内容
2016/08/18 Python
如何高效使用Python字典的方法详解
2017/08/31 Python
Python判断对象是否为文件对象(file object)的三种方法示例
2019/04/26 Python
Python工程师必考的6个经典面试题
2020/06/28 Python
python实现canny边缘检测
2020/09/14 Python
台湾母婴用品购物网站:Infant婴之房
2018/06/15 全球购物
安全生产先进个人材料
2014/02/06 职场文书
安全生产目标责任书
2014/04/14 职场文书
本科毕业生应聘求职信
2014/07/06 职场文书
生产操作工岗位职责
2014/09/16 职场文书
任命书怎么写
2015/03/02 职场文书
2015年服务员工作总结
2015/04/08 职场文书
小学生一年级(书信作文)
2019/08/13 职场文书