numpy linalg模块的具体使用方法


Posted in Python onMay 26, 2019

最近在看机器学习的 LogisticRegressor,BayesianLogisticRegressor算法,里面得到一阶导数矩阵g和二阶导数Hessian矩阵H的时候,用到了这个模块进行求解运算,记录一下。

numpy.linalg模块包含线性代数的函数。使用这个模块,可以计算逆矩阵、求特征值、解线性方程组以及求解行列式等。

import numpy as np
# 1. 计算逆矩阵
# 创建矩阵
A = np.mat("0 1 2;1 0 3;4 -3 8")
print (A)
#[[ 0 1 2]
# [ 1 0 3]
# [ 4 -3 8]]
# 使用inv函数计算逆矩阵
inv = np.linalg.inv(A)
print (inv)
#[[-4.5 7. -1.5]
# [-2. 4. -1. ]
# [ 1.5 -2. 0.5]]
# 检查原矩阵和求得的逆矩阵相乘的结果为单位矩阵
print (A * inv)
#[[ 1. 0. 0.]
# [ 0. 1. 0.]
# [ 0. 0. 1.]]

注:矩阵必须是方阵且可逆,否则会抛出LinAlgError异常。

# 2. 求解线性方程组
# numpy.linalg中的函数solve可以求解形如 Ax = b 的线性方程组,其中 A 为矩阵,b 为一维或二维的数组,x 是未知变量
 
#创建矩阵和数组
B = np.mat("1 -2 1;0 2 -8;-4 5 9")
b = np.array([0,8,-9])
 
# 调用solve函数求解线性方程
x = np.linalg.solve(B,b)
print (x)
#[ 29. 16. 3.]
 
# 使用dot函数检查求得的解是否正确
print (np.dot(B , x))
# [[ 0. 8. -9.]]
# 3. 特征值和特征向量
# 特征值(eigenvalue)即方程 Ax = ax 的根,是一个标量。
 
#其中,A 是一个二维矩阵,x 是一个一维向量。特征向量(eigenvector)是关于特征值的向量
# numpy.linalg模块中,eigvals函数可以计算矩阵的特征值,而eig函数可以返回一个包含特征值和对应的特征向量的元组
 
# 创建一个矩阵
C = np.mat("3 -2;1 0")
 
# 调用eigvals函数求解特征值
c0 = np.linalg.eigvals(C)
print (c0)
# [ 2. 1.]
 
# 使用eig函数求解特征值和特征向量 
#(该函数将返回一个元组,按列排放着特征值和对应的特征向量,其中第一列为特征值,第二列为特征向量)
c1,c2 = np.linalg.eig(C)
print (c1)
# [ 2. 1.] 
print (c2)
#[[ 0.89442719 0.70710678]
# [ 0.4472136 0.70710678]]
 
# 使用dot函数验证求得的解是否正确
for i in range(len(c1)):
print ("left:",np.dot(C,c2[:,i]))
print ("right:",c1[i] * c2[:,i])
#left: [[ 1.78885438]
# [ 0.89442719]]
#right: [[ 1.78885438]
# [ 0.89442719]]
#left: [[ 0.70710678]
# [ 0.70710678]]
#right: [[ 0.70710678]
# [ 0.70710678]]
# 4.奇异值分解
# SVD(Singular Value Decomposition,奇异值分解)是一种因子分解运算,将一个矩阵分解为3个矩阵的乘积
# numpy.linalg模块中的svd函数可以对矩阵进行奇异值分解。该函数返回3个矩阵——U、Sigma和V,其中U和V是正交矩阵,Sigma包含输入矩阵的奇异值。
 
import numpy as np
 
# 分解矩阵
D = np.mat("4 11 14;8 7 -2")
# 使用svd函数分解矩阵
U,Sigma,V = np.linalg.svd(D,full_matrices=False)
print ("U:",U)
#U: [[-0.9486833 -0.31622777]
# [-0.31622777 0.9486833 ]]
print ("Sigma:",Sigma)
#Sigma: [ 18.97366596 9.48683298]
print ("V",V)
#V [[-0.33333333 -0.66666667 -0.66666667]
# [ 0.66666667 0.33333333 -0.66666667]]
# 结果包含等式中左右两端的两个正交矩阵U和V,以及中间的奇异值矩阵Sigma
 
# 使用diag函数生成完整的奇异值矩阵。将分解出的3个矩阵相乘
print (U * np.diag(Sigma) * V)
#[[ 4. 11. 14.]
# [ 8. 7. -2.]]
# 5. 广义逆矩阵
# 使用numpy.linalg模块中的pinv函数进行求解,
# 注:inv函数只接受方阵作为输入矩阵,而pinv函数则没有这个限制
 
import numpy as np
 
# 创建一个矩阵
E = np.mat("4 11 14;8 7 -2")
# 使用pinv函数计算广义逆矩阵
pseudoinv = np.linalg.pinv(E)
print (pseudoinv)
#[[-0.00555556 0.07222222]
# [ 0.02222222 0.04444444]
# [ 0.05555556 -0.05555556]]
 
# 将原矩阵和得到的广义逆矩阵相乘
print (E * pseudoinv)
#[[ 1.00000000e+00 -5.55111512e-16]
# [ 0.00000000e+00 1.00000000e+00]]
# 6. 行列式
# numpy.linalg模块中的det函数可以计算矩阵的行列式
 
import numpy as np
 
# 计算矩阵的行列式
F = np.mat("3 4;5 6")
# 使用det函数计算行列式
print (np.linalg.det(F))
# -2.0

学完这些之后,再用其中的numpy.linalg.solve()函数对(H,g)线性方程组进行求解。

def _fit(self, X, t, max_iter=100): #输入样本 , 0,1标签 ,最大迭代步数
  self._check_binary(t)
  w = np.zeros(np.size(X, 1))  #初始化权重矩阵 X行
  for _ in range(max_iter):
    w_prev = np.copy(w)    #保存原先的权重信息 用来更新权重
    y = self._sigmoid(X @ w)  #sigmoid 特征向量@权重矩阵 输出y
    grad = X.T @ (y - t)    #一阶导数
    hessian = (X.T * y * (1 - y)) @ X  #二阶导数 Hessian矩阵
    try:
      w -= np.linalg.solve(hessian, grad)
      print(w)
    except np.linalg.LinAlgError:
      break
    if np.allclose(w, w_prev): #收敛到一定的精度
      break
  self.w = w
# [-0.17924772 1.02982033 0.54459921]
# [-0.25994586 1.76892341 0.90294418]
# [-0.35180664 2.60346027 1.25122256]
# [-0.468509  3.54309929 1.60131553]
# [-0.58591528 4.43787542 1.93496706]
# [-0.65896159 4.97839095 2.14764763]
# [-0.67659725 5.10615457 2.20048333]
# [-0.67736191 5.11159274 2.20281247]
# [-0.67736325 5.11160214 2.20281657]

PS:更多示例

# 线性代数
# numpy.linalg模块包含线性代数的函数。使用这个模块,可以计算逆矩阵、求特征值、解线性方程组以及求解行列式等。

import numpy as np

# 1. 计算逆矩阵
# 创建矩阵
A = np.mat("0 1 2;1 0 3;4 -3 8")
print (A)
#[[ 0 1 2]
# [ 1 0 3]
# [ 4 -3 8]]

# 使用inv函数计算逆矩阵
inv = np.linalg.inv(A)
print (inv)
#[[-4.5 7. -1.5]
# [-2. 4. -1. ]
# [ 1.5 -2. 0.5]]

# 检查原矩阵和求得的逆矩阵相乘的结果为单位矩阵
print (A * inv)
#[[ 1. 0. 0.]
# [ 0. 1. 0.]
# [ 0. 0. 1.]]

# 注:矩阵必须是方阵且可逆,否则会抛出LinAlgError异常。


# 2. 求解线性方程组
# numpy.linalg中的函数solve可以求解形如 Ax = b 的线性方程组,其中 A 为矩阵,b 为一维或二维的数组,x 是未知变量

import numpy as np

#创建矩阵和数组
B = np.mat("1 -2 1;0 2 -8;-4 5 9")
b = np.array([0,8,-9])

# 调用solve函数求解线性方程
x = np.linalg.solve(B,b)
print (x)
#[ 29. 16. 3.]

# 使用dot函数检查求得的解是否正确
print (np.dot(B , x))
# [[ 0. 8. -9.]]


# 3. 特征值和特征向量
# 特征值(eigenvalue)即方程 Ax = ax 的根,是一个标量。其中,A 是一个二维矩阵,x 是一个一维向量。特征向量(eigenvector)是关于特征值的向量
# numpy.linalg模块中,eigvals函数可以计算矩阵的特征值,而eig函数可以返回一个包含特征值和对应的特征向量的元组 

import numpy as np

# 创建一个矩阵
C = np.mat("3 -2;1 0")

# 调用eigvals函数求解特征值
c0 = np.linalg.eigvals(C)
print (c0)
# [ 2. 1.]

# 使用eig函数求解特征值和特征向量 (该函数将返回一个元组,按列排放着特征值和对应的特征向量,其中第一列为特征值,第二列为特征向量)
c1,c2 = np.linalg.eig(C)
print (c1)
# [ 2. 1.] 
print (c2)
#[[ 0.89442719 0.70710678]
# [ 0.4472136 0.70710678]] 

# 使用dot函数验证求得的解是否正确
for i in range(len(c1)):
 print ("left:",np.dot(C,c2[:,i]))
 print ("right:",c1[i] * c2[:,i])
#left: [[ 1.78885438]
# [ 0.89442719]]
#right: [[ 1.78885438]
# [ 0.89442719]]
#left: [[ 0.70710678]
# [ 0.70710678]]
#right: [[ 0.70710678]
# [ 0.70710678]]

 

# 4.奇异值分解
# SVD(Singular Value Decomposition,奇异值分解)是一种因子分解运算,将一个矩阵分解为3个矩阵的乘积
# numpy.linalg模块中的svd函数可以对矩阵进行奇异值分解。该函数返回3个矩阵——U、Sigma和V,其中U和V是正交矩阵,Sigma包含输入矩阵的奇异值。

import numpy as np

# 分解矩阵
D = np.mat("4 11 14;8 7 -2")
# 使用svd函数分解矩阵
U,Sigma,V = np.linalg.svd(D,full_matrices=False)
print ("U:",U)
#U: [[-0.9486833 -0.31622777]
# [-0.31622777 0.9486833 ]]
print ("Sigma:",Sigma)
#Sigma: [ 18.97366596 9.48683298]
print ("V",V)
#V [[-0.33333333 -0.66666667 -0.66666667]
# [ 0.66666667 0.33333333 -0.66666667]]
# 结果包含等式中左右两端的两个正交矩阵U和V,以及中间的奇异值矩阵Sigma

# 使用diag函数生成完整的奇异值矩阵。将分解出的3个矩阵相乘
print (U * np.diag(Sigma) * V)
#[[ 4. 11. 14.]
# [ 8. 7. -2.]]

# 5. 广义逆矩阵
# 使用numpy.linalg模块中的pinv函数进行求解,
# 注:inv函数只接受方阵作为输入矩阵,而pinv函数则没有这个限制

import numpy as np

# 创建一个矩阵
E = np.mat("4 11 14;8 7 -2")
# 使用pinv函数计算广义逆矩阵
pseudoinv = np.linalg.pinv(E)
print (pseudoinv)
#[[-0.00555556 0.07222222]
# [ 0.02222222 0.04444444]
# [ 0.05555556 -0.05555556]]

# 将原矩阵和得到的广义逆矩阵相乘
print (E * pseudoinv)
#[[ 1.00000000e+00 -5.55111512e-16]
# [ 0.00000000e+00 1.00000000e+00]]

# 6. 行列式
# numpy.linalg模块中的det函数可以计算矩阵的行列式

import numpy as np

# 计算矩阵的行列式
F = np.mat("3 4;5 6")
# 使用det函数计算行列式
print (np.linalg.det(F))
# -2.0

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中的匿名函数使用简介
Apr 27 Python
Python运算符重载详解及实例代码
Mar 07 Python
Python编程实现双击更新所有已安装python模块的方法
Jun 05 Python
Python爬虫框架Scrapy实例代码
Mar 04 Python
python如何去除字符串中不想要的字符
Jul 05 Python
Python正则表达式和元字符详解
Nov 29 Python
Python 输出时去掉列表元组外面的方括号与圆括号的方法
Dec 24 Python
详解Python3之数据指纹MD5校验与对比
Jun 11 Python
pyQT5 实现窗体之间传值的示例
Jun 20 Python
pytorch中的上采样以及各种反操作,求逆操作详解
Jan 03 Python
关于Theano和Tensorflow多GPU使用问题
Jun 19 Python
Django3中的自定义用户模型实例详解
Aug 23 Python
python flask解析json数据不完整的解决方法
May 26 #Python
如何使用pyinstaller打包32位的exe程序
May 26 #Python
让你Python到很爽的加速递归函数的装饰器
May 26 #Python
Django框架模板的使用方法示例
May 25 #Python
Django框架搭建的简易图书信息网站案例
May 25 #Python
Django框架实现的分页demo示例
May 25 #Python
Flask框架工厂函数用法实例分析
May 25 #Python
You might like
ajax+php打造进度条 readyState各状态
2010/03/20 PHP
php实现压缩多个CSS与JS文件的方法
2014/11/11 PHP
Windows下PHP开发环境搭建教程(Apache+PHP+MySQL)
2016/06/13 PHP
PHP使用微信开发模式实现搜索已发送图文及匹配关键字回复的方法
2017/09/13 PHP
php经典趣味算法实例代码
2020/01/21 PHP
jQuery-onload让第一次页面加载时图片是淡入方式显示
2012/05/23 Javascript
Js四则运算函数代码
2012/07/21 Javascript
表格单元格交错着色实现思路及代码
2013/04/01 Javascript
js 获取页面高度和宽度兼容 ie firefox chrome等
2014/05/14 Javascript
JavaScript DOM节点添加示例
2014/07/16 Javascript
深入解析JavaScript的闭包机制
2015/10/20 Javascript
详解Webwork中Action 调用的方法
2016/02/02 Javascript
jQuery中的100个技巧汇总
2016/12/15 Javascript
vue组件tabbar使用方法详解
2018/11/06 Javascript
vue-cli+axios实现文件上传下载功能(下载接收后台返回文件流)
2019/05/10 Javascript
Node.js文本文件BOM头的去除方法
2020/11/22 Javascript
ES6 十大特性简介
2020/12/09 Javascript
python如何实现反向迭代
2018/03/20 Python
数组保存为txt, npy, csv 文件, 数组遍历enumerate的方法
2018/07/09 Python
Python3开发环境搭建详细教程
2020/06/18 Python
Python调用JavaScript代码的方法
2020/10/27 Python
什么是Assembly(程序集)
2014/09/14 面试题
优秀老师事迹材料
2014/02/05 职场文书
绿色环保标语
2014/06/12 职场文书
小学绿色学校申报材料
2014/08/23 职场文书
经贸日语专业自荐信
2014/09/02 职场文书
公司离职证明样本
2014/09/13 职场文书
四查四看整改措施
2014/09/19 职场文书
法人代表证明书格式
2014/10/01 职场文书
论文答辩开场白大全
2015/05/27 职场文书
警示教育观后感
2015/06/17 职场文书
孙振耀退休感言
2015/08/01 职场文书
2016大学军训通讯稿
2015/11/25 职场文书
大学生村官工作心得体会
2016/01/23 职场文书
pytorch 6 batch_train 批训练操作
2021/05/28 Python
JavaScript 数组去重详解
2021/09/15 Javascript