python常用库之NumPy和sklearn入门


Posted in Python onJuly 11, 2019

Numpy 和 scikit-learn 都是python常用的第三方库。numpy库可以用来存储和处理大型矩阵,并且在一定程度上弥补了python在运算效率上的不足,正是因为numpy的存在使得python成为数值计算领域的一大利器;sklearn是python著名的机器学习库,它其中封装了大量的机器学习算法,内置了大量的公开数据集,并且拥有完善的文档,因此成为目前最受欢迎的机器学习学习与实践的工具。

1. NumPy库

首先导入Numpy库

import numpy as np

1.1 numpy.array 与 list

a = [1,2,3,4,5,6] # python内置数组结构
b = np.array(a) # numpy数组结构

python有内置数组结构(list),我们为什么还要使用numpy的数组结构呢?为了回答这个问题,我们先来看看python内置的数组结构有什么样的特点。我们在使用list的时候会发现,list数组中保存的数据类型是不用相同的,可以是字符串、可以是整型数据、甚至可以是个类实例。这种存储方式很使用,为我们使用带来了很多遍历,但是它也承担了消耗大量内存的缺陷或不足。为什么这么说呢?实际上list数组中的每个元素的存储都需要1个指针和1个数据,也就是说list中保存的其实是数据的存放地址(指针),它比原生态的数组多了一个存放指针的内存消耗。因此,当我们想去减少内存消耗时,不妨将list替换成np.array,这样会节省不少的空间,并且Numpy数组是执行更快数值计算的优秀容器。

1.2 numpy常用操作

创建数组

np.array([1,2,3]) # 创建一维数组
np.asarray([1,2,3])
np.array([1,2,3], [4,5,6]) # 创建多维数组

np.zeros((3, 2)) # 3行2列 全0矩阵
np.ones((3, 2)) #全1矩阵
np.full((3, 2), 5) # 3行2列全部填充5

np.array 和 np.asarray 的区别:

def asarray(a, dtype=None, order=None):
 return array(a, dtype, copy=False, order=order)

可见,它们区别主要在于: array会复制出一个新的对象,占用一份新的内存空间,而asarray不会执行这一操作。array类似深拷贝,asarray类似浅拷贝。

数值计算

基础计算

arr1 = np.array([[1,2,3], [4,5,6]])
arr2 = np.array([[6,5], [4,3], [2,1]])

# 查看arr维度
print(arr1.shape) # (2, 3)

#切片 
np.array([1,2,3,4,5,6])[:3] #array([1,2,3])
arr1[0:2,0:2] # 二维切片

#乘法
np.array([1,2,3]) * np.array([2,3,4]) # 对应元素相乘 array([2,6, 12])
arr1.dot(b) # 矩阵乘法

#矩阵求和
np.sum(arr1) # 所有元素之和 21
np.sum(arr1, axis=0) #列求和 array([5, 7, 9])
np.sum(arr1, axis=1) # 行求和 array([ 6, 15])

# 最大最小
np.max(arr1, axis=0/1)
np.min(a, axis=0/1)

进阶计算

arr = np.array([[1,2], [3,4], [5,6]])

#布尔型数组访问方式
print((arr>2))
 """
 [[False False]
 [ True True]
 [ True True]]
 """
print(arr[arr>2]) # [3 4 5 6]

#修改形状
arr.reshape(2,3)
 """ 
 array([[1, 2, 3],
 [4, 5, 6]])
 """
arr.flatten() # 摊平 array([1, 2, 3, 4, 5, 6])
arr.T # 转置

2. sklearn库

若你想快速使用sklearn,我的另一篇博客应该可以满足您的需求,点击跳转:《ML神器:sklearn的快速使用》

是python的重要机器学习库,其中封装了大量的机器学习算法,如:分类、回归、降维以及聚类;还包含了监督学习、非监督学习、数据变换三大模块。sklearn拥有完善的文档,使得它具有了上手容易的优势;并它内置了大量的数据集,节省了获取和整理数据集的时间。因而,使其成为了广泛应用的重要的机器学习库。下面简单介绍一下sklearn下的常用方法。

监督学习

sklearn.neighbors #近邻算法
sklearn.svm #支持向量机
sklearn.kernel_ridge #核-岭回归
sklearn.discriminant_analysis #判别分析
sklearn.linear_model #广义线性模型

sklearn.ensemble #集成学习
sklearn.tree #决策树
sklearn.naive_bayes #朴素贝叶斯
sklearn.cross_decomposition #交叉分解
sklearn.gaussian_process #高斯过程

sklearn.neural_network #神经网络
sklearn.calibration #概率校准
sklearn.isotonic #保守回归
sklearn.feature_selection #特征选择
sklearn.multiclass #多类多标签算法

以上的每个模型都包含多个算法,在调用时直接import即可,譬如:

from sklearn.linear_model import LogisticRefression
lr_model = LogisticRegression()

无监督学习

sklearn.decomposition #矩阵因子分解
sklearn.cluster # 聚类
sklearn.manifold # 流形学习
sklearn.mixture # 高斯混合模型
sklearn.neural_network # 无监督神经网络
sklearn.covariance # 协方差估计

数据变换

sklearn.feature_extraction # 特征提取
sklearn.feature_selection # 特征选择
sklearn.preprocessing # 预处理
sklearn.random_projection # 随机投影
sklearn.kernel_approximation # 核逼近

数据集

python常用库之NumPy和sklearn入门

python常用库之NumPy和sklearn入门

此外,sklearn还有统一的API接口,我们通常可以通过使用完全相同的接口来实现不同的机器学习算法,一般实现流程:

step1. 数据加载和预处理

step2. 定义分类器, 比如: lr_model = LogisticRegression()

step3. 使用训练集训练模型 : lr_model.fit(X,Y)

step4. 使用训练好的模型进行预测: y_pred = lr_model.predict(X_test)

step5. 对模型进行性能评估:lr_model.score(X_test, y_test)

常见命令:

1. 数据集分割

# 作用:将数据集划分为 训练集和测试集
# 格式:train_test_split(*arrays, **options)
from sklearn.mode_selection import train_test_split
X, y = np.arange(10).reshape((5, 2)), range(5)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)
"""
参数
---
arrays:样本数组,包含特征向量和标签

test_size:
float-获得多大比重的测试样本 (默认:0.25)

int - 获得多少个测试样本

train_size: 同test_size

random_state:

int - 随机种子(种子固定,实验可复现)


shuffle - 是否在分割之前对数据进行洗牌(默认True)

返回
---
分割后的列表,长度=2*len(arrays), 

(train-test split)
"""

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python使用ctypes模块调用windowsapi获取系统版本示例
Apr 17 Python
使用Python编写类UNIX系统的命令行工具的教程
Apr 15 Python
简单介绍Python的Django框架的dj-scaffold项目
May 30 Python
Python设置Socket代理及实现远程摄像头控制的例子
Nov 13 Python
python模块之re正则表达式详解
Feb 03 Python
Python实现的视频播放器功能完整示例
Feb 01 Python
pycharm的console输入实现换行的方法
Jan 16 Python
Pycharm保存不能自动同步到远程服务器的解决方法
Jun 27 Python
python 和c++实现旋转矩阵到欧拉角的变换方式
Dec 04 Python
如何在Python3中使用telnetlib模块连接网络设备
Sep 21 Python
python pyg2plot的原理知识点总结
Feb 28 Python
pandas中DataFrame重置索引的几种方法
May 24 Python
python在新的图片窗口显示图片(图像)的方法
Jul 11 #Python
Python实现K折交叉验证法的方法步骤
Jul 11 #Python
Python获取命令实时输出-原样彩色输出并返回输出结果的示例
Jul 11 #Python
将python运行结果保存至本地文件中的示例讲解
Jul 11 #Python
详解python实现交叉验证法与留出法
Jul 11 #Python
python程序运行进程、使用时间、剩余时间显示功能的实现代码
Jul 11 #Python
Python循环中else,break和continue的用法实例详解
Jul 11 #Python
You might like
PHP实现手机归属地查询API接口实现代码
2012/08/27 PHP
smarty模板引擎基础知识入门
2015/03/30 PHP
PHP中散列密码的安全性分析
2019/07/26 PHP
PHP 观察者模式深入理解与应用分析
2019/09/25 PHP
js导航菜单(自写)简单大方
2013/03/28 Javascript
判断客户浏览器是否支持cookie的示例代码
2013/12/23 Javascript
深入探讨JavaScript、JQuery屏蔽网页鼠标右键菜单及禁止选择复制
2014/06/10 Javascript
JavaScript中的方法重载实例
2015/03/16 Javascript
jQuery实现无限往下滚动效果代码
2016/04/16 Javascript
DOM操作原生js 的bug,使用jQuery 可以消除的解决方法
2016/09/04 Javascript
深入理解javascript函数参数与闭包
2016/12/12 Javascript
JavaScript 网页中实现一个计算当年还剩多少时间的倒数计时程序
2017/01/25 Javascript
Vue项目中引入外部文件的方法(css、js、less)
2017/07/24 Javascript
使用JS动态显示文本
2017/09/09 Javascript
vue登录注册及token验证实现代码
2017/12/14 Javascript
浅谈Vuejs中nextTick()异步更新队列源码解析
2017/12/31 Javascript
node.js的Express服务器基本使用教程
2019/01/09 Javascript
layer.open的自适应及居中及子页面标题的修改方法
2019/09/05 Javascript
微信小程序防止多次点击跳转和防止表单组件输入内容多次验证功能(函数防抖)
2019/09/19 Javascript
js实现图片粘贴到网页
2019/12/06 Javascript
[55:02]2014 DOTA2国际邀请赛中国区预选赛 HGT VS Orenda
2014/05/21 DOTA
[47:45]DOTA2-DPC中国联赛 正赛 Phoenix vs Dragon BO3 第一场 2月26日
2021/03/11 DOTA
让Django支持Sql Server作后端数据库的方法
2018/05/29 Python
python基于property()函数定义属性
2020/01/22 Python
Python + opencv对拍照得到的图片进行背景去除的实现方法
2020/11/18 Python
前端面试必备之CSS3的新特性
2017/09/05 HTML / CSS
Kathmandu英国网站:新西兰户外运动品牌
2017/03/27 全球购物
日本食品网上商店:JaponShop.com
2017/11/28 全球购物
Bowflex美国官方网站:高级家庭健身器材
2017/12/22 全球购物
给客户的道歉信
2014/01/13 职场文书
社区敬老月活动实施方案
2014/02/17 职场文书
函授本科个人自我鉴定
2014/03/25 职场文书
生物工程专业求职信
2014/09/03 职场文书
农村婚庆主持词
2015/06/29 职场文书
大学生社区义工服务心得体会
2016/01/22 职场文书
Java使用JMeter进行高并发测试
2021/11/23 Java/Android