Python机器学习logistic回归代码解析


Posted in Python onJanuary 17, 2018

本文主要研究的是Python机器学习logistic回归的相关内容,同时介绍了一些机器学习中的概念,具体如下。

Logistic回归的主要目的:寻找一个非线性函数sigmod最佳的拟合参数

拟合、插值和逼近是数值分析的三大工具

回归:对一直公式的位置参数进行估计

拟合:把平面上的一些系列点,用一条光滑曲线连接起来

logistic主要思想:根据现有数据对分类边界线建立回归公式、以此进行分类

sigmoid函数:在神经网络中它是所谓的激励函数。当输入大于0时,输出趋向于1,输入小于0时,输出趋向0,输入为0时,输出为0.5

Python机器学习logistic回归代码解析

梯度上升:要找到某个函数的最大值,最好的方法是沿着该函数的梯度方向探寻

收敛:随着迭代的运行算法的结果和真实结果的误差越来越小,且趋向于一个固定值。

爬山算法:是完完全全的贪心算法,每次鼠目寸光的选择一个当前最优解,英雌只能搜寻到局部最优值

模拟退火算法:也是一种贪心算法但它的sou索过程引入了随机因素,模拟退火算法以一定的概念来接受一个比当前解要差的解,因此有可能会跳出这个局部最优解,达到全局最优解。

处理数据中的缺失值:

使用可用特征的均值来填补缺失值

使用特殊值来填补缺失值,如-1

忽略有缺失值的样本

使用相似样本的均值添补缺失值

使用其它机器学习算法预测缺失值

标签与特征不同,很难确定采用某个合适的值来替换。

#coding:utf-8
 
from numpy import *
import math
 
def loadDataSet():
  dataMat = []; labelMat = []
  fr = open('testSet.txt')
  for line in fr.readlines():
    lineArr = line.strip().split()
    dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
    labelMat.append(int(lineArr[2]))
  return dataMat,labelMat
 
def sigmoid(inX):
  return longfloat(1.0/(1+exp(-inX))) #sigmoid函数公式
 
def gradAscent(dataMatIn, classLabels):
  #dataMatIn 一个2维的数组;classLabels 类别标签
  dataMatrix = mat(dataMatIn)       #转换为矩阵
  labelMat = mat(classLabels).transpose() #得到矩阵的转置矩阵
  m,n = shape(dataMatrix)  #读取矩阵的长度,二维矩阵,返回两个值
  alpha = 0.001     #向目标移动的步长
  maxCycles = 500    #迭代次数 
  weights = ones((n,1))  #ones()函数用以创建指定形状和类型的数组,默认情况下返回的类型是float64。但是,如果使用ones()函数时指定了数据类型,那么返回的就是该类型
  for k in range(maxCycles):       
    h = sigmoid(dataMatrix*weights)   #matrix mult
    error = (labelMat - h)       #vector subtraction
    weights = weights + alpha * dataMatrix.transpose()* error #matrix mult
  return weights
 
def plotBestFit(weights):
  import matplotlib as mpl
  mpl.use('Agg')         #为了防止出现:RuntimeError: could not open display报错
  import matplotlib.pyplot as plt
  dataMat,labelMat=loadDataSet()
  dataArr = array(dataMat)
  n = shape(dataArr)[0] 
  xcord1 = []; ycord1 = []
  xcord2 = []; ycord2 = []
  for i in range(n):
    if int(labelMat[i])== 1:
      xcord1.append(dataArr[i,1]); ycord1.append(dataArr[i,2])
    else:
      xcord2.append(dataArr[i,1]); ycord2.append(dataArr[i,2])
  fig = plt.figure() #figure: 控制dpi、边界颜色、图形大小、和子区( subplot)设置
  ax = fig.add_subplot(111) # 参数111的意思是:将画布分割成1行1列,图像画在从左到右从上到下的第1块,
  ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')
  ax.scatter(xcord2, ycord2, s=30, c='green')
  x = arange(-3.0, 3.0, 0.1)
  y = (-weights[0]-weights[1]*x)/weights[2]
  ax.plot(x, y)
  plt.xlabel('X1'); plt.ylabel('X2');
  plt.savefig('plotBestFit.png')  #因为我是腾讯云服务器,没有图形界面,所以我保存为图片。
 
#随机梯度上升算法
def stocGradAscent0(dataMatrix, classLabels):
  m,n = shape(dataMatrix)
  alpha = 0.01
  weights = ones(n)  #initialize to all ones
  for i in range(m):
    h = sigmoid(sum(dataMatrix[i]*weights))
    error = classLabels[i] - h
    weights = weights + alpha * error * dataMatrix[i] #回归系数的更新操作
  return weights
 
#改进的随机梯度上升算法
def stocGradAscent1(dataMatrix, classLabels, numIter=150):  #较之前的增加了一个迭代次数作为第三个参数,默认值150
  m,n = shape(dataMatrix)
  weights = ones(n)  
  for j in range(numIter):
    dataIndex = range(m)
    for i in range(m):
      alpha = 4/(1.0+j+i)+0.0001  
      randIndex = int(random.uniform(0,len(dataIndex)))  #样本随机选择
      h = sigmoid(sum(dataMatrix[randIndex]*weights))
      error = classLabels[randIndex] - h
      weights = weights + alpha * error * dataMatrix[randIndex] #回归系数的更新操作
      del(dataIndex[randIndex])
  return weights
 
#以回归系数和特征向量作为输入计算对应的sigmoid值
def classifyVector(inX, weights):
  prob = sigmoid(sum(inX*weights))
  if prob > 0.5: return 1.0        #如果sigmoid值大于0.5函数返回1,否则返回0
  else: return 0.0
 
#打开测试集和训练集,并对数据进行格式化处理的函数
def colicTest():
  frTrain = open('horseColicTraining.txt'); frTest = open('horseColicTest.txt')
  trainingSet = []; trainingLabels = []
  for line in frTrain.readlines():
    currLine = line.strip().split('\t')
    lineArr =[]
    for i in range(21):
      lineArr.append(float(currLine[i]))
    trainingSet.append(lineArr)
    trainingLabels.append(float(currLine[21]))
  trainWeights = stocGradAscent1(array(trainingSet), trainingLabels, 1000) #计算回归系数向量
  errorCount = 0; numTestVec = 0.0
  for line in frTest.readlines():
    numTestVec += 1.0
    currLine = line.strip().split('\t')
    lineArr =[]
    for i in range(21):
      lineArr.append(float(currLine[i]))
    if int(classifyVector(array(lineArr), trainWeights))!= int(currLine[21]):
      errorCount += 1
  errorRate = (float(errorCount)/numTestVec)
  print "the error rate of this test is: %f" % errorRate
  return errorRate
#调用函数colicTest()10次,并求结果的平均值
def multiTest():
  numTests = 10; errorSum=0.0
  for k in range(numTests):
    errorSum += colicTest()
  print "after %d iterations the average error rate is: %f" % (numTests, errorSum/float(numTests))

Python机器学习logistic回归代码解析

Python机器学习logistic回归代码解析

总结

以上就是本文关于Python机器学习logistic回归代码解析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
Python读写Excel文件方法介绍
Nov 22 Python
python字典多键值及重复键值的使用方法(详解)
Oct 31 Python
pygame 精灵的行走及二段跳的实现方法(必看篇)
Jul 10 Python
Python实现感知机(PLA)算法
Dec 20 Python
python 对txt中每行内容进行批量替换的方法
Jul 11 Python
Python操作远程服务器 paramiko模块详细介绍
Aug 07 Python
应用OpenCV和Python进行SIFT算法的实现详解
Aug 21 Python
在OpenCV里使用特征匹配和单映射变换的代码详解
Oct 23 Python
PyTorch中的padding(边缘填充)操作方式
Jan 03 Python
python如何实现DES加密
Sep 21 Python
使用pandas或numpy处理数据中的空值(np.isnan()/pd.isnull())
May 14 Python
Python打包为exe详细教程
May 18 Python
酷! 程序员用Python带你玩转冲顶大会
Jan 17 #Python
Python建立Map写Excel表实例解析
Jan 17 #Python
Python冲顶大会 快来答题!
Jan 17 #Python
urllib和BeautifulSoup爬取维基百科的词条简单实例
Jan 17 #Python
python thrift搭建服务端和客户端测试程序
Jan 17 #Python
Python元字符的用法实例解析
Jan 17 #Python
Python工程师面试必备25条知识点
Jan 17 #Python
You might like
CakePHP去除默认显示的标题及图标的方法
2008/10/22 PHP
php代码中使用换行及(\n或\r\n和br)的应用
2013/02/02 PHP
关于PHPDocument 代码注释规范的总结
2013/06/25 PHP
PHP删除指定目录中的所有目录及文件的方法
2015/02/26 PHP
php在数据库抽象层简单使用PDO的方法
2015/11/03 PHP
Laravel Intervention/image图片处理扩展包的安装、使用与可能遇到的坑详解
2017/11/14 PHP
JavaScript 设计模式 富有表现力的Javascript(一)
2010/05/26 Javascript
CSS(js)限制页面显示的文本字符长度
2012/12/27 Javascript
js Dialog 去掉右上角的X关闭功能
2014/04/23 Javascript
JQuery表格拖动调整列宽效果(自己动手写的)
2014/09/01 Javascript
使用jquery解析XML示例代码
2014/09/05 Javascript
JavaScript 开发工具webstrom使用指南
2014/12/09 Javascript
JQuery菜单效果的两个实例讲解(3)
2015/09/17 Javascript
Wireshark基本介绍和学习TCP三次握手
2016/08/15 Javascript
KnockoutJS 3.X API 第四章之数据控制流if绑定和ifnot绑定
2016/10/10 Javascript
jQuery实现复选框的全选和反选
2017/02/02 Javascript
Angular2 自定义validators的实现方法
2017/07/05 Javascript
JavaScript DOM元素常见操作详解【添加、删除、修改等】
2018/05/09 Javascript
使用webpack4编译并压缩ES6代码的方法示例
2019/04/24 Javascript
node中实现删除目录的几种方法
2019/06/24 Javascript
如何利用JavaScript编写更好的条件语句详解
2020/08/10 Javascript
Python 拷贝对象(深拷贝deepcopy与浅拷贝copy)
2008/09/06 Python
深入理解python函数递归和生成器
2016/06/06 Python
Python 记录日志的灵活性和可配置性介绍
2018/02/27 Python
python实现人民币大写转换
2018/06/20 Python
Python静态类型检查新工具之pyright 使用指南
2019/04/26 Python
python能做什么 python的含义
2019/10/12 Python
Django中提示消息messages的设置方式
2019/11/15 Python
python生成并处理uuid的实现方式
2020/03/03 Python
安德玛菲律宾官网:Under Armour菲律宾
2020/07/28 全球购物
介绍一下linux文件系统分配策略
2012/11/17 面试题
2016年寒假见闻
2015/10/10 职场文书
2016年五一促销广告语
2016/01/28 职场文书
解决SpringCloud Feign传对象参数调用失败的问题
2021/06/23 Java/Android
MySQL中int (10) 和 int (11) 的区别
2022/01/22 MySQL
Python数据结构之队列详解
2022/03/21 Python