Python常用数据分析模块原理解析


Posted in Python onJuly 20, 2020

前言

python是一门优秀的编程语言,而是python成为数据分析软件的是因为python强大的扩展模块。也就是这些python的扩展包让python可以做数据分析,主要包括numpy,scipy,pandas,matplotlib,scikit-learn等等诸多强大的模块,在结合上ipython交互工具 ,以及python强大的爬虫数据获取能力,字符串处理能力,让python成为完整的数据分析工具。

Python常用数据分析模块原理解析

numpy

官网:https://www.scipy.org/

NumPy(Numerical Python的简称)是高性能科学计算和数据分析的基础包。NumPy最重要的一个特点就是其N维数组对象(即ndarray),该对象是一个快速而灵活的大数据集容器。可以利用这种数组对整块数据执行一些数学运算,比python自带的数组以及元组效率更高,其语法跟变量元素之间的运算一样,无需进行循环操作。

在使用python进行数据分析的过程中,我们大部分时候是不会直接使用numpy包,而是其他包要用到numpy。可以说numpy是整个python数据分析工作的基石。

举个简单的案例,我们要计算100000个随机数的值,如果传统编程需要写循环,用了2.2s,而使用numpy数据结构,则可以进行向量化操作,无需循环,只需要28.2ms节约大量时间。

In [1]: import numpy
In [2]: my_arr = np.arange(1000000)
In [3]: my_list = list(range(1000000))
In [4]: %time for _ in range(10): my_arr2 = my_arr * 2
Wall time: 28.2 ms
In [5]: %time for _ in range(10): my_list2 = [x * 2 for x in my_list]
Wall time: 2.2 s

pandas

官网:https://pandas.pydata.org/

Python Data Analysis Library,可根据需要帮助组织各种参数的数据。pandas基于numpy底层数据结构。让python成为类似Excel,R等统计学软件,主要就是pandas的功劳。pandas在python中实现了各种数据的计算 ,分组计算,添加删除,排序,筛选,抽样等都能工作。使Pandas成为数据科学家中最受欢迎的库。

pandas主要包含两种数据结构:Series与DataFrame。Series是一种类似于以为数组的对象,它由一组数据以及与之相关的数据标签组成,仅有一组数据即可产生最简单的Series。Series类似于R中的向量,属于以为数据。Series可以构成二维的DataFrame。行为记录值,列为观测值。如果熟悉R中的数据框DataFrame,在使用pandas则会轻松上手,因为作者自己说pandas的DataFrame就是模仿R的数据框。

scipy

官网:https://www.scipy.org/

scipy是一个用于数学、科学、工程领域的常用软件包,可以处理插值、积分、优化、图像处理、常微分方程数值解的求解、信号处理等问题。它用于有效计算Numpy矩阵,使Numpy和Scipy协同工作,高效解决问题。
Scipy是由针对特定任务的子模块组成:

Python常用数据分析模块原理解析

matplotlib

官网:https://matplotlib.org/

matplotlib是python中优秀的数据可视化的包,根据命名就可以看到,它其实是一个matlib的plot库,也就是利用python将matlib的绘图功能实现了一遍。如果你熟悉matlib绘图,那么将直接上手。matplotlib是Python编程语言及其数值数学扩展包 NumPy的可视化操作界面。它为利用通用的图形用户界面工具包,如Tkinter, wxPython, Qt或GTK+向应用程序嵌入式绘图提供了应用程序接口(API)。

plotnine

官网:https://plotnine.readthedocs.io/en/stable/

如果你不熟悉matlib,而是从R转到python,可能不太喜欢matplotlib的绘图模式和风格,觉得不如R绘图方便。而且R还有ggplot2包。那么plotnine则是将ggplot2移植到python上,在python上完全重现ggplot2的功能。如果你熟悉ggplot2的语法,直接上手。不过,我倒是觉得这个工作意义不大,这属于重新发明轮子,后面如果ggplot2在更新了,二者之间还是会有一些差别,用户会有些困扰。当然,这样的问题仁者见仁,愚者见愚。聊胜于无,如果想在 python环境中完成全部工作,有了这个包还是非常不错的。

Python常用数据分析模块原理解析

scikit-learn

官网:https://scikit-learn.org/stable/

有很多人不是天天喜欢三句话不离大数据,机器学习,人工智能吗。那么scikit-learn则是完成python大数据机器学习的包。scikit-Learn是python数据分析中非常重要的一个模块,它是一个基于NumPy和SciPy构建的开源机器学习工具包。 它具有常用的ML算法,可用于预处理,分类,回归以及聚类。算法包括[支持向量机]( support vector machines,ridge回归, 网格搜索算法(Grid Search algorithm) ,k均值聚类等等。另外还有样本数据集。API易学易用。 在几乎所有平台上的良好性能,它在学术和商业用途中都很受欢迎。

Python常用数据分析模块原理解析

其他:

除了以上包之外,python还有很多很多其他有关数据分析的包,不胜枚举,比如图片识别的opencv,google机器学习开源库tensorflow,PyTorch等等,一个崭新的世界等待你去发现。但是前提是前面基础这些包熟悉了,以及有最核心的计算机以及统计学基础,否则就是无水之源,无木之本,你所谓的人工智能,只能是人工智障。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python计算时间差的方法
May 20 Python
12步教你理解Python装饰器
Feb 25 Python
浅谈python 四种数值类型(int,long,float,complex)
Jun 08 Python
使用pandas read_table读取csv文件的方法
Jul 04 Python
python 用opencv调用训练好的模型进行识别的方法
Dec 07 Python
Django之Mode的外键自关联和引用未定义的Model方法
Dec 15 Python
Python缓存技术实现过程详解
Sep 25 Python
python 扩展print打印文件路径和当前时间信息的实例代码
Oct 11 Python
python return逻辑判断表达式实现解析
Dec 02 Python
Python logging日志模块 配置文件方式
Jul 12 Python
PyTorch预训练Bert模型的示例
Nov 17 Python
Python+Appium实现自动化清理微信僵尸好友的方法
Feb 04 Python
Python+Kepler.gl实现时间轮播地图过程解析
Jul 20 #Python
用pandas划分数据集实现训练集和测试集
Jul 20 #Python
Python数据可视化实现漏斗图过程图解
Jul 20 #Python
浅谈pandas dataframe对除数是零的处理
Jul 20 #Python
为什么说python更适合树莓派编程
Jul 20 #Python
Python faker生成器生成虚拟数据代码实例
Jul 20 #Python
Python DataFrame使用drop_duplicates()函数去重(保留重复值,取重复值)
Jul 20 #Python
You might like
测试php函数的方法
2013/11/13 PHP
PHP多进程编程实例
2014/10/15 PHP
javascript 图片裁剪技巧解读
2012/11/15 Javascript
Jquery实现图片左右自动滚动示例
2013/09/25 Javascript
js几秒以后倒计时跳转示例
2013/12/26 Javascript
JS创建自定义表格具体实现
2014/02/11 Javascript
绑定回车enter事件代码
2014/05/18 Javascript
jQuery Easyui实现左右布局
2016/01/26 Javascript
重学JS之显示强制类型转换详解
2019/06/30 Javascript
ES6字符串的扩展实例
2020/12/21 Javascript
[47:52]DOTA2-DPC中国联赛正赛 iG vs LBZS BO3 第二场 3月4日
2021/03/11 DOTA
python将xml xsl文件生成html文件存储示例讲解
2013/12/03 Python
在Python中使用全局日志时需要注意的问题
2015/05/06 Python
解决Python出现_warn_unsafe_extraction问题的方法
2016/03/24 Python
python书籍信息爬虫实例
2018/03/19 Python
tensorflow 加载部分变量的实例讲解
2018/07/27 Python
python 构造三维全零数组的方法
2018/11/12 Python
对Python中list的倒序索引和切片实例讲解
2018/11/15 Python
python如何实现异步调用函数执行
2019/07/08 Python
使用NumPy读取MNIST数据的实现代码示例
2019/11/20 Python
Django框架models使用group by详解
2020/03/11 Python
解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题
2020/06/23 Python
Django中和时区相关的安全问题详解
2020/10/12 Python
世界上最好的威士忌和烈性酒购买网站:The Whisky Exchange
2016/11/20 全球购物
美国折扣网站:jClub
2017/08/07 全球购物
HTC VIVE美国官网:VR虚拟现实眼镜
2018/02/13 全球购物
面向对象编程是如何提高软件开发水平的
2014/05/06 面试题
商务助理求职信范文
2014/04/20 职场文书
大班幼儿评语大全
2014/04/30 职场文书
国际贸易毕业生自荐书
2014/06/22 职场文书
2014年九一八事变演讲稿
2014/09/14 职场文书
军训结束新闻稿
2015/07/17 职场文书
nginx proxy_cache 缓存配置详解
2021/03/31 Servers
(开源)微信小程序+mqtt,esp8266温湿度读取
2021/04/02 Javascript
详解Js模块化的作用原理和方案
2021/04/29 Javascript
python神经网络ResNet50模型
2022/05/06 Python