Python机器学习logistic回归代码解析


Posted in Python onJanuary 17, 2018

本文主要研究的是Python机器学习logistic回归的相关内容,同时介绍了一些机器学习中的概念,具体如下。

Logistic回归的主要目的:寻找一个非线性函数sigmod最佳的拟合参数

拟合、插值和逼近是数值分析的三大工具

回归:对一直公式的位置参数进行估计

拟合:把平面上的一些系列点,用一条光滑曲线连接起来

logistic主要思想:根据现有数据对分类边界线建立回归公式、以此进行分类

sigmoid函数:在神经网络中它是所谓的激励函数。当输入大于0时,输出趋向于1,输入小于0时,输出趋向0,输入为0时,输出为0.5

Python机器学习logistic回归代码解析

梯度上升:要找到某个函数的最大值,最好的方法是沿着该函数的梯度方向探寻

收敛:随着迭代的运行算法的结果和真实结果的误差越来越小,且趋向于一个固定值。

爬山算法:是完完全全的贪心算法,每次鼠目寸光的选择一个当前最优解,英雌只能搜寻到局部最优值

模拟退火算法:也是一种贪心算法但它的sou索过程引入了随机因素,模拟退火算法以一定的概念来接受一个比当前解要差的解,因此有可能会跳出这个局部最优解,达到全局最优解。

处理数据中的缺失值:

使用可用特征的均值来填补缺失值

使用特殊值来填补缺失值,如-1

忽略有缺失值的样本

使用相似样本的均值添补缺失值

使用其它机器学习算法预测缺失值

标签与特征不同,很难确定采用某个合适的值来替换。

#coding:utf-8
 
from numpy import *
import math
 
def loadDataSet():
  dataMat = []; labelMat = []
  fr = open('testSet.txt')
  for line in fr.readlines():
    lineArr = line.strip().split()
    dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
    labelMat.append(int(lineArr[2]))
  return dataMat,labelMat
 
def sigmoid(inX):
  return longfloat(1.0/(1+exp(-inX))) #sigmoid函数公式
 
def gradAscent(dataMatIn, classLabels):
  #dataMatIn 一个2维的数组;classLabels 类别标签
  dataMatrix = mat(dataMatIn)       #转换为矩阵
  labelMat = mat(classLabels).transpose() #得到矩阵的转置矩阵
  m,n = shape(dataMatrix)  #读取矩阵的长度,二维矩阵,返回两个值
  alpha = 0.001     #向目标移动的步长
  maxCycles = 500    #迭代次数 
  weights = ones((n,1))  #ones()函数用以创建指定形状和类型的数组,默认情况下返回的类型是float64。但是,如果使用ones()函数时指定了数据类型,那么返回的就是该类型
  for k in range(maxCycles):       
    h = sigmoid(dataMatrix*weights)   #matrix mult
    error = (labelMat - h)       #vector subtraction
    weights = weights + alpha * dataMatrix.transpose()* error #matrix mult
  return weights
 
def plotBestFit(weights):
  import matplotlib as mpl
  mpl.use('Agg')         #为了防止出现:RuntimeError: could not open display报错
  import matplotlib.pyplot as plt
  dataMat,labelMat=loadDataSet()
  dataArr = array(dataMat)
  n = shape(dataArr)[0] 
  xcord1 = []; ycord1 = []
  xcord2 = []; ycord2 = []
  for i in range(n):
    if int(labelMat[i])== 1:
      xcord1.append(dataArr[i,1]); ycord1.append(dataArr[i,2])
    else:
      xcord2.append(dataArr[i,1]); ycord2.append(dataArr[i,2])
  fig = plt.figure() #figure: 控制dpi、边界颜色、图形大小、和子区( subplot)设置
  ax = fig.add_subplot(111) # 参数111的意思是:将画布分割成1行1列,图像画在从左到右从上到下的第1块,
  ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')
  ax.scatter(xcord2, ycord2, s=30, c='green')
  x = arange(-3.0, 3.0, 0.1)
  y = (-weights[0]-weights[1]*x)/weights[2]
  ax.plot(x, y)
  plt.xlabel('X1'); plt.ylabel('X2');
  plt.savefig('plotBestFit.png')  #因为我是腾讯云服务器,没有图形界面,所以我保存为图片。
 
#随机梯度上升算法
def stocGradAscent0(dataMatrix, classLabels):
  m,n = shape(dataMatrix)
  alpha = 0.01
  weights = ones(n)  #initialize to all ones
  for i in range(m):
    h = sigmoid(sum(dataMatrix[i]*weights))
    error = classLabels[i] - h
    weights = weights + alpha * error * dataMatrix[i] #回归系数的更新操作
  return weights
 
#改进的随机梯度上升算法
def stocGradAscent1(dataMatrix, classLabels, numIter=150):  #较之前的增加了一个迭代次数作为第三个参数,默认值150
  m,n = shape(dataMatrix)
  weights = ones(n)  
  for j in range(numIter):
    dataIndex = range(m)
    for i in range(m):
      alpha = 4/(1.0+j+i)+0.0001  
      randIndex = int(random.uniform(0,len(dataIndex)))  #样本随机选择
      h = sigmoid(sum(dataMatrix[randIndex]*weights))
      error = classLabels[randIndex] - h
      weights = weights + alpha * error * dataMatrix[randIndex] #回归系数的更新操作
      del(dataIndex[randIndex])
  return weights
 
#以回归系数和特征向量作为输入计算对应的sigmoid值
def classifyVector(inX, weights):
  prob = sigmoid(sum(inX*weights))
  if prob > 0.5: return 1.0        #如果sigmoid值大于0.5函数返回1,否则返回0
  else: return 0.0
 
#打开测试集和训练集,并对数据进行格式化处理的函数
def colicTest():
  frTrain = open('horseColicTraining.txt'); frTest = open('horseColicTest.txt')
  trainingSet = []; trainingLabels = []
  for line in frTrain.readlines():
    currLine = line.strip().split('\t')
    lineArr =[]
    for i in range(21):
      lineArr.append(float(currLine[i]))
    trainingSet.append(lineArr)
    trainingLabels.append(float(currLine[21]))
  trainWeights = stocGradAscent1(array(trainingSet), trainingLabels, 1000) #计算回归系数向量
  errorCount = 0; numTestVec = 0.0
  for line in frTest.readlines():
    numTestVec += 1.0
    currLine = line.strip().split('\t')
    lineArr =[]
    for i in range(21):
      lineArr.append(float(currLine[i]))
    if int(classifyVector(array(lineArr), trainWeights))!= int(currLine[21]):
      errorCount += 1
  errorRate = (float(errorCount)/numTestVec)
  print "the error rate of this test is: %f" % errorRate
  return errorRate
#调用函数colicTest()10次,并求结果的平均值
def multiTest():
  numTests = 10; errorSum=0.0
  for k in range(numTests):
    errorSum += colicTest()
  print "after %d iterations the average error rate is: %f" % (numTests, errorSum/float(numTests))

Python机器学习logistic回归代码解析

Python机器学习logistic回归代码解析

总结

以上就是本文关于Python机器学习logistic回归代码解析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
详解 Python中LEGB和闭包及装饰器
Aug 03 Python
Python中对象的引用与复制代码示例
Dec 04 Python
python实现识别手写数字 python图像识别算法
Mar 23 Python
Python 中的Selenium异常处理实例代码
May 03 Python
基于DataFrame改变列类型的方法
Jul 25 Python
Python实现的旋转数组功能算法示例
Feb 23 Python
Python中一些深不见底的“坑”
Jun 12 Python
Python基础学习之函数方法实例详解
Jun 18 Python
python3用PIL把图片转换为RGB图片的实例
Jul 04 Python
使用Python解析Chrome浏览器书签的示例
Nov 13 Python
PyCharm最新激活码PyCharm2020.2.3有效
Nov 18 Python
秀!学妹看见都惊呆的Python小招数!【详细语言特性使用技巧】
Apr 27 Python
酷! 程序员用Python带你玩转冲顶大会
Jan 17 #Python
Python建立Map写Excel表实例解析
Jan 17 #Python
Python冲顶大会 快来答题!
Jan 17 #Python
urllib和BeautifulSoup爬取维基百科的词条简单实例
Jan 17 #Python
python thrift搭建服务端和客户端测试程序
Jan 17 #Python
Python元字符的用法实例解析
Jan 17 #Python
Python工程师面试必备25条知识点
Jan 17 #Python
You might like
将RTF格式的文件转成HTML并在网页中显示的代码
2006/10/09 PHP
PHP给源代码加密的几种方法汇总(推荐)
2018/02/06 PHP
总结PHP代码规范、流程规范、git规范
2018/06/18 PHP
一些常用的Javascript函数
2006/12/22 Javascript
初学js插入节点appendChild insertBefore使用方法
2011/07/04 Javascript
Jquery实现图片放大镜效果的思路及代码(自写)
2013/10/18 Javascript
基于jQuery实现复选框的全选 全不选 反选功能
2014/11/24 Javascript
JS根据生日算年龄的方法
2015/05/05 Javascript
JavaScript数组对象赋值用法实例
2015/08/04 Javascript
jquery实现的V字形显示效果代码
2015/10/27 Javascript
JavaScript html5 canvas绘制时钟效果
2016/03/01 Javascript
浅谈jquery选择器 :first与:first-child的区别
2016/11/20 Javascript
使用vue构建移动应用实战代码
2017/08/02 Javascript
Angularjs实现控制器之间通信方式实例总结
2018/03/27 Javascript
vue插件draggable实现拖拽移动图片顺序
2018/12/01 Javascript
详解基于Vue,Nginx的前后端不分离部署教程
2018/12/04 Javascript
ES10的13个新特性示例(小结)
2019/09/23 Javascript
JavaScript仿京东秒杀倒计时
2020/03/17 Javascript
关于vue的列表图片选中打钩操作
2020/09/09 Javascript
ant design vue datepicker日期选择器中文化操作
2020/10/28 Javascript
Python pass 语句使用示例
2014/03/11 Python
python中的reduce内建函数使用方法指南
2014/08/31 Python
跟老齐学Python之折腾一下目录
2014/10/24 Python
使用python验证代理ip是否可用的实现方法
2018/07/25 Python
pyqt5 QProgressBar清空进度条的实例
2019/06/21 Python
python自定义时钟类、定时任务类
2021/02/22 Python
python自动化实现登录获取图片验证码功能
2019/11/20 Python
Python中if有多个条件处理方法
2020/02/26 Python
django 链接多个数据库 并使用原生sql实现
2020/03/28 Python
html5音频_动力节点Java学院整理
2018/08/22 HTML / CSS
实习生体会的自我评价范文
2013/11/28 职场文书
我的动漫时代的创业计划书范文
2014/01/27 职场文书
班班通校本培训方案
2014/03/12 职场文书
我爱祖国演讲稿
2014/09/02 职场文书
迎国庆演讲稿
2014/09/15 职场文书
2014县委书记四风对照检查材料思想汇报
2014/09/21 职场文书