Python机器学习logistic回归代码解析


Posted in Python onJanuary 17, 2018

本文主要研究的是Python机器学习logistic回归的相关内容,同时介绍了一些机器学习中的概念,具体如下。

Logistic回归的主要目的:寻找一个非线性函数sigmod最佳的拟合参数

拟合、插值和逼近是数值分析的三大工具

回归:对一直公式的位置参数进行估计

拟合:把平面上的一些系列点,用一条光滑曲线连接起来

logistic主要思想:根据现有数据对分类边界线建立回归公式、以此进行分类

sigmoid函数:在神经网络中它是所谓的激励函数。当输入大于0时,输出趋向于1,输入小于0时,输出趋向0,输入为0时,输出为0.5

Python机器学习logistic回归代码解析

梯度上升:要找到某个函数的最大值,最好的方法是沿着该函数的梯度方向探寻

收敛:随着迭代的运行算法的结果和真实结果的误差越来越小,且趋向于一个固定值。

爬山算法:是完完全全的贪心算法,每次鼠目寸光的选择一个当前最优解,英雌只能搜寻到局部最优值

模拟退火算法:也是一种贪心算法但它的sou索过程引入了随机因素,模拟退火算法以一定的概念来接受一个比当前解要差的解,因此有可能会跳出这个局部最优解,达到全局最优解。

处理数据中的缺失值:

使用可用特征的均值来填补缺失值

使用特殊值来填补缺失值,如-1

忽略有缺失值的样本

使用相似样本的均值添补缺失值

使用其它机器学习算法预测缺失值

标签与特征不同,很难确定采用某个合适的值来替换。

#coding:utf-8
 
from numpy import *
import math
 
def loadDataSet():
  dataMat = []; labelMat = []
  fr = open('testSet.txt')
  for line in fr.readlines():
    lineArr = line.strip().split()
    dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
    labelMat.append(int(lineArr[2]))
  return dataMat,labelMat
 
def sigmoid(inX):
  return longfloat(1.0/(1+exp(-inX))) #sigmoid函数公式
 
def gradAscent(dataMatIn, classLabels):
  #dataMatIn 一个2维的数组;classLabels 类别标签
  dataMatrix = mat(dataMatIn)       #转换为矩阵
  labelMat = mat(classLabels).transpose() #得到矩阵的转置矩阵
  m,n = shape(dataMatrix)  #读取矩阵的长度,二维矩阵,返回两个值
  alpha = 0.001     #向目标移动的步长
  maxCycles = 500    #迭代次数 
  weights = ones((n,1))  #ones()函数用以创建指定形状和类型的数组,默认情况下返回的类型是float64。但是,如果使用ones()函数时指定了数据类型,那么返回的就是该类型
  for k in range(maxCycles):       
    h = sigmoid(dataMatrix*weights)   #matrix mult
    error = (labelMat - h)       #vector subtraction
    weights = weights + alpha * dataMatrix.transpose()* error #matrix mult
  return weights
 
def plotBestFit(weights):
  import matplotlib as mpl
  mpl.use('Agg')         #为了防止出现:RuntimeError: could not open display报错
  import matplotlib.pyplot as plt
  dataMat,labelMat=loadDataSet()
  dataArr = array(dataMat)
  n = shape(dataArr)[0] 
  xcord1 = []; ycord1 = []
  xcord2 = []; ycord2 = []
  for i in range(n):
    if int(labelMat[i])== 1:
      xcord1.append(dataArr[i,1]); ycord1.append(dataArr[i,2])
    else:
      xcord2.append(dataArr[i,1]); ycord2.append(dataArr[i,2])
  fig = plt.figure() #figure: 控制dpi、边界颜色、图形大小、和子区( subplot)设置
  ax = fig.add_subplot(111) # 参数111的意思是:将画布分割成1行1列,图像画在从左到右从上到下的第1块,
  ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')
  ax.scatter(xcord2, ycord2, s=30, c='green')
  x = arange(-3.0, 3.0, 0.1)
  y = (-weights[0]-weights[1]*x)/weights[2]
  ax.plot(x, y)
  plt.xlabel('X1'); plt.ylabel('X2');
  plt.savefig('plotBestFit.png')  #因为我是腾讯云服务器,没有图形界面,所以我保存为图片。
 
#随机梯度上升算法
def stocGradAscent0(dataMatrix, classLabels):
  m,n = shape(dataMatrix)
  alpha = 0.01
  weights = ones(n)  #initialize to all ones
  for i in range(m):
    h = sigmoid(sum(dataMatrix[i]*weights))
    error = classLabels[i] - h
    weights = weights + alpha * error * dataMatrix[i] #回归系数的更新操作
  return weights
 
#改进的随机梯度上升算法
def stocGradAscent1(dataMatrix, classLabels, numIter=150):  #较之前的增加了一个迭代次数作为第三个参数,默认值150
  m,n = shape(dataMatrix)
  weights = ones(n)  
  for j in range(numIter):
    dataIndex = range(m)
    for i in range(m):
      alpha = 4/(1.0+j+i)+0.0001  
      randIndex = int(random.uniform(0,len(dataIndex)))  #样本随机选择
      h = sigmoid(sum(dataMatrix[randIndex]*weights))
      error = classLabels[randIndex] - h
      weights = weights + alpha * error * dataMatrix[randIndex] #回归系数的更新操作
      del(dataIndex[randIndex])
  return weights
 
#以回归系数和特征向量作为输入计算对应的sigmoid值
def classifyVector(inX, weights):
  prob = sigmoid(sum(inX*weights))
  if prob > 0.5: return 1.0        #如果sigmoid值大于0.5函数返回1,否则返回0
  else: return 0.0
 
#打开测试集和训练集,并对数据进行格式化处理的函数
def colicTest():
  frTrain = open('horseColicTraining.txt'); frTest = open('horseColicTest.txt')
  trainingSet = []; trainingLabels = []
  for line in frTrain.readlines():
    currLine = line.strip().split('\t')
    lineArr =[]
    for i in range(21):
      lineArr.append(float(currLine[i]))
    trainingSet.append(lineArr)
    trainingLabels.append(float(currLine[21]))
  trainWeights = stocGradAscent1(array(trainingSet), trainingLabels, 1000) #计算回归系数向量
  errorCount = 0; numTestVec = 0.0
  for line in frTest.readlines():
    numTestVec += 1.0
    currLine = line.strip().split('\t')
    lineArr =[]
    for i in range(21):
      lineArr.append(float(currLine[i]))
    if int(classifyVector(array(lineArr), trainWeights))!= int(currLine[21]):
      errorCount += 1
  errorRate = (float(errorCount)/numTestVec)
  print "the error rate of this test is: %f" % errorRate
  return errorRate
#调用函数colicTest()10次,并求结果的平均值
def multiTest():
  numTests = 10; errorSum=0.0
  for k in range(numTests):
    errorSum += colicTest()
  print "after %d iterations the average error rate is: %f" % (numTests, errorSum/float(numTests))

Python机器学习logistic回归代码解析

Python机器学习logistic回归代码解析

总结

以上就是本文关于Python机器学习logistic回归代码解析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
浅析Python基础-流程控制
Mar 18 Python
详谈Python基础之内置函数和递归
Jun 21 Python
对numpy的array和python中自带的list之间相互转化详解
Apr 13 Python
Flask核心机制之上下文源码剖析
Dec 25 Python
Python对象与引用的介绍
Jan 24 Python
解决Pycharm调用Turtle时 窗口一闪而过的问题
Feb 16 Python
pandas实现将dataframe满足某一条件的值选出
Jun 12 Python
Pytorch释放显存占用方式
Jan 13 Python
python 实现线程之间的通信示例
Feb 14 Python
python模拟点击网页按钮实现方法
Feb 25 Python
python 中不同包 类 方法 之间的调用详解
Mar 09 Python
解决Django no such table: django_session的问题
Apr 07 Python
酷! 程序员用Python带你玩转冲顶大会
Jan 17 #Python
Python建立Map写Excel表实例解析
Jan 17 #Python
Python冲顶大会 快来答题!
Jan 17 #Python
urllib和BeautifulSoup爬取维基百科的词条简单实例
Jan 17 #Python
python thrift搭建服务端和客户端测试程序
Jan 17 #Python
Python元字符的用法实例解析
Jan 17 #Python
Python工程师面试必备25条知识点
Jan 17 #Python
You might like
Netflix将与CLAMP、乙一以及冲方丁等6名知名制作人合伙展开原创动画计划!
2020/03/06 日漫
PHP针对多用户实现更换头像功能
2016/09/04 PHP
PHP下载远程图片的几种方法总结
2017/04/07 PHP
PHP-FPM的配置与优化讲解
2019/03/15 PHP
一个分享按钮的插件使用介绍(可扩展,内附开发制作流程)
2011/09/19 Javascript
JavaScript高级程序设计(第3版)学习笔记9 js函数(下)
2012/10/11 Javascript
JQuery插件开发示例代码
2013/11/06 Javascript
js调用打印机打印网页字体总是缩小一号的解决方法
2014/01/24 Javascript
jQuery实现鼠标经过图片预览大图效果
2014/04/10 Javascript
JS 使用for循环遍历子节点查找元素
2014/09/06 Javascript
在HTML代码中使用JavaScript代码的例子
2014/10/16 Javascript
JavaScript 基本概念
2015/01/20 Javascript
JavaScript中的原始值和复杂值
2016/01/07 Javascript
jquery trigger实现联动的方法
2016/02/29 Javascript
详解Angular的8个主要构造块
2017/06/20 Javascript
JavaScript中七种流行的开源机器学习框架
2018/10/11 Javascript
浅谈一个webpack构建速度优化误区
2019/06/24 Javascript
在vue中实现禁止屏幕滚动,禁止屏幕滑动
2020/07/22 Javascript
vue data变量相互赋值后被实时同步的解决步骤
2020/08/05 Javascript
[02:37]2018DOTA2亚洲邀请赛赛前采访-EG篇
2018/04/03 DOTA
python安装requests库的实例代码
2019/06/25 Python
Python Gitlab Api 使用方法
2019/08/28 Python
基于Python+Appium实现京东双十一自动领金币功能
2019/10/31 Python
Python超越函数积分运算以及绘图实现代码
2019/11/20 Python
Math.round(11.5)等於多少? Math.round(-11.5)等於多少?
2015/01/27 面试题
公务员培训自我鉴定
2013/09/19 职场文书
写给老师的表扬信
2014/01/21 职场文书
征婚广告词
2014/03/17 职场文书
公安民警正风肃纪剖析材料
2014/10/10 职场文书
2015年检验科工作总结
2015/04/27 职场文书
预备党员入党感想
2015/08/10 职场文书
写作指导:怎么书写竞聘演讲稿?
2019/07/04 职场文书
微信小程序实现录音Record功能
2021/05/09 Javascript
python 中的@运算符使用
2021/05/26 Python
MySQL系列之十五 MySQL常用配置和性能压力测试
2021/07/02 MySQL
Java Spring Lifecycle的使用
2022/05/06 Java/Android