浅析Python数据处理


Posted in Python onMay 02, 2018

Numpy、Pandas是Python数据处理中经常用到的两个框架,都是采用C语言编写,所以运算速度快。Matplotlib是Python的的画图工具,可以把之前处理后的数据通过图像绘制出来。之前只是看过语法,没有系统学习总结过,本博文总结了这三个框架的API。

以下是这三个框架的的简单介绍和区别:

  • Numpy:经常用于数据生成和一些运算
  • Pandas:基于Numpy构建的,是Numpy的升级版本
  • Matplotlib:Python中强大的绘图工具

Numpy

Numpy快速入门教程可参考:Numpy tutorial

Numpy属性

ndarray.ndim:维度

ndarray.shape:行数和列数,例如(3, 5)

ndarray.size:元素的个数

ndarray.dtype:元素类型

Numpy创建

array(object, dtype=None):使用Python的list或者tuple创建数据

zeors(shape, dtype=float):创建全为0的数据

ones(shape, dtype=None):创建全为1的数据

empty(shape, dtype=float):创建没有初始化的数据

arange([start, ]stop, [step, ]dtype=None):创建固定间隔的数据段

linspace(start, stop, num=50, dtype=None):在给定的范围,均匀的创建数据

Numpy运算

加、减:a + b、a - b

乘:b*2、10*np.sin(a)

次方:b**2

判断:a<35,输出True或False的数组

矩阵乘:np.dot(A,B) 或 A.dot(B)

其他:+=、-+、sin、cos、exp

Numpy索引

数组索引方式:A[1, 1]

切片:A[1, 1:3]

迭代:for item in A.flat

Numpy其他

reshape(a, newshape):改变数据形状,不会对原始数据进行修改,返回一组新数据

resize(a, new_shape):改变数据形状,会对原始数据进行修改,不返回数据

ravel(a):将成一维返回

vstack(tup):上下合并

hstack(tup):左右合并

hsplit(ary, indices_or_sections):水平分割n份

vsplit(ary, indices_or_sections):垂直分割n份

copy(a):深度拷贝

Pandas

Pandas快速入门教程可参考:10 Minutes to pandas

Pandas数据结构

Pandas的数据结构有两种:Series和DataFrame。

Series:索引在左边,值在右边。创建方式如下:

In [4]: s = pd.Series([1,3,5,np.nan,6,8])
In [5]: s
Out[5]: 
0  1.0
1  3.0
2  5.0
3  NaN
4  6.0
5  8.0
dtype: float64

DataFrame:是一个表格型的数据结构,既有行索引也有列索引, 它可以被看做由Series组成的大字典。创建方式如下:

In [6]: dates = pd.date_range('20130101', periods=6)

In [7]: dates
Out[7]: 
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
        '2013-01-05', '2013-01-06'],
       dtype='datetime64[ns]', freq='D')

In [8]: df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))

Pandas查看数据

index:索引

columns:列索引

values:值

head(n=5):返回前n项数据

tail(n=5):返回后n项数据

describe():打印出数据的数量、平均值等各项数据

sort_index(axis=1, ascending=False):根据索引排序

sort_values(by='B'):根据索引值排序

Pandas选择数据

数组选择方式:df[‘A']

切片选择方式:df[0:3] 或 df[‘20130102':'20130104']

根据标签选择:df.loc[‘20130102':'20130104',[‘A','B']]

根据位置选择:df.iloc[3:5,0:2]

混合选择:df.ix[:3,[‘A','C']]

条件判断选择:df[df.A > 0]

Pandas处理丢失数据

删除丢失数据的行:df.dropna(how='any')

填充丢失数据:df.fillna(value=5)

数据值是否为NaN:pd.isna(df1)

Pandas合并数据

pd.concat([df1, df2, df3], axis=0):合并df

pd.merge(left, right, on='key'):根据key字段合并

df.append(s, ignore_index=True):添加数据

Pandas导入导出

df.to_csv(‘foo.csv'):保存到csv文件

pd.read_csv(‘foo.csv'):从csv文件读取

df.to_excel(‘foo.xlsx', sheet_name='Sheet1'):保存到excel文件

pd.read_excel(‘foo.xlsx', ‘Sheet1', index_col=None, na_values=[‘NA']):从excel文件读取

Matplotlib

这里只介绍最简单的出图方式:

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 随机生成1000个数据
data = pd.Series(np.random.randn(1000),index=np.arange(1000))
# 为了方便观看效果, 我们累加这个数据
data.cumsum()
# pandas 数据可以直接观看其可视化形式
data.plot()
plt.show()

 

Python 相关文章推荐
通过python下载FTP上的文件夹的实现代码
Feb 10 Python
Python中字典的基础知识归纳小结
Aug 19 Python
如何利用Fabric自动化你的任务
Oct 20 Python
python3实现抓取网页资源的 N 种方法
May 02 Python
python实现rsa加密实例详解
Jul 19 Python
详解PyCharm配置Anaconda的艰难心路历程
Aug 13 Python
flask session组件的使用示例
Dec 25 Python
Django的models中on_delete参数详解
Jul 16 Python
pandas DataFrame创建方法的方式
Aug 02 Python
python控制台实现tab补全和清屏的例子
Aug 20 Python
基于Python+Appium实现京东双十一自动领金币功能
Oct 31 Python
Python爬虫入门案例之爬取去哪儿旅游景点攻略以及可视化分析
Oct 16 Python
python pycurl验证basic和digest认证的方法
May 02 #Python
python解决js文件utf-8编码乱码问题(推荐)
May 02 #Python
用TensorFlow实现戴明回归算法的示例
May 02 #Python
用TensorFlow实现lasso回归和岭回归算法的示例
May 02 #Python
Python实现确认字符串是否包含指定字符串的实例
May 02 #Python
详解用TensorFlow实现逻辑回归算法
May 02 #Python
Python获取指定字符前面的所有字符方法
May 02 #Python
You might like
Zend Framework过滤器Zend_Filter用法详解
2016/12/09 PHP
详解yii2实现分库分表的方案与思路
2017/02/03 PHP
详解PHP 二维数组排序保持键名不变
2019/03/06 PHP
php定期拉取数据对比方法实例
2019/09/22 PHP
PHP vsprintf()函数格式化字符串操作原理解析
2020/07/14 PHP
Javascript的一种模块模式
2010/09/08 Javascript
表单切换,用回车键替换Tab健(不支持IE)
2011/07/20 Javascript
jQuery 一个图片切换的插件
2011/10/09 Javascript
深入分析Javascript跨域问题
2015/04/17 Javascript
AngularJS中监视Scope变量以及外部调用Scope方法
2016/01/23 Javascript
对jquery的ajax进行二次封装以及ajax缓存代理组件:AjaxCache详解
2016/04/11 Javascript
js操作浏览器的参数方法
2017/01/21 Javascript
vue-cli项目代理proxyTable配置exclude的方法
2018/09/20 Javascript
Javascript的this详解
2019/03/23 Javascript
微信小程序实现卡片左右滑动效果的示例代码
2019/05/01 Javascript
vue实现记事本功能
2019/06/26 Javascript
在vue中给后台接口传的值为数组的格式代码
2020/11/12 Javascript
[01:05:32]DOTA2上海特级锦标赛主赛事日 - 3 败者组第三轮#1COL VS Alliance第一局
2016/03/04 DOTA
Python设计模式之单例模式实例
2014/04/26 Python
解决pip install的时候报错timed out的问题
2018/06/12 Python
使用pytorch进行图像的顺序读取方法
2018/07/27 Python
Python numpy.array()生成相同元素数组的示例
2018/11/12 Python
python将一组数分成每3个一组的实例
2018/11/14 Python
python实现在多维数组中挑选符合条件的全部元素
2019/11/26 Python
Python paramiko使用方法代码汇总
2020/11/20 Python
CSS3 transform的skew属性值图文详解
2014/07/21 HTML / CSS
有趣的睡衣和礼物:LazyOne
2019/11/27 全球购物
Java Servlet API中forward() 与redirect()的区别
2014/04/20 面试题
史上最全面的Java面试题汇总!
2015/02/03 面试题
买房子个人收入证明
2014/01/16 职场文书
少先队学雷锋活动月总结
2014/03/09 职场文书
区政府领导班子个人对照检查材料
2014/09/25 职场文书
标准离婚协议书范文下载
2014/11/30 职场文书
爱情保证书
2015/01/17 职场文书
《狼王梦》读后感:可怜天下父母心
2019/11/01 职场文书
基于PyTorch实现一个简单的CNN图像分类器
2021/05/29 Python