python实现聚类算法原理


Posted in Python onFebruary 12, 2018

本文主要内容:

  • 聚类算法的特点
  • 聚类算法样本间的属性(包括,有序属性、无序属性)度量标准
  • 聚类的常见算法,原型聚类(主要论述K均值聚类),层次聚类、密度聚类
  • K均值聚类算法的python实现,以及聚类算法与EM最大算法的关系
  • 参考引用

先上一张gif的k均值聚类算法动态图片,让大家对算法有个感性认识:

python实现聚类算法原理

其中:N=200代表有200个样本,不同的颜色代表不同的簇(其中 3种颜色为3个簇),星星代表每个簇的簇心。算法通过25次迭代找到收敛的簇心,以及对应的簇。 每次迭代的过程中,簇心和对应的簇都在变化。

聚类算法的特点

聚类算法是无监督学习算法和前面的有监督算法不同,训练数据集可以不指定类别(也可以指定)。聚类算法对象归到同一簇中,类似全自动分类。簇内的对象越相似,聚类的效果越好。K-均值聚类是每个类别簇都是采用簇中所含值的均值计算而成。

python实现聚类算法原理

聚类样本间的属性(包括,有序属性、无序属性)度量标准 1. 有序属性

例如:西瓜的甜度:0.1, 0.5, 0.9(值越大,代表越甜)

我们可以使用明可夫斯基距离定义:

python实现聚类算法原理

2. 无序属性

例如:色泽,青绿、浅绿、深绿(又例如: 性别: 男, 女, 中性,人yao…明显也不能使用0.1, 0.2 等表示求距离)。这些不能使用连续的值表示,求距离的,一般使用VDM计算:

python实现聚类算法原理

python实现聚类算法原理

聚类的常见算法,原型聚类(主要论述K均值聚类),层次聚类、密度聚类

聚类算法分为如下三大类:

1. 原型聚类(包含3个子类算法):

K均值聚类算法

学习向量量化

高斯混合聚类

2. 密度聚类:

3. 层次聚类:

下面主要说明K均值聚类算法(示例来源于,周志华西瓜书)

算法基本思想:

K-Means 是发现给定数据集的 K 个簇的聚类算法, 之所以称之为 K-均值 是因为它可以发现 K 个不同的簇,且每个簇的中心采用簇中所含值的均值计算而成.簇个数 K 是用户指定的, 每一个簇通过其质心(centroid), 即簇中所有点的中心来描述.

算法流程如下:

python实现聚类算法原理

主要是三个步骤:

  • 初始化选择K个簇心,假设样本有 m个属性,则相当于k个m为向量
  • 对于k个簇,求离其最近的样本,并划分新的簇
  • 对于每个新的簇,更新簇心的向量(一般可以求簇的样本的属性的均值)
  • 重复2~3直到算法收敛,或者运行了指定的次数

下面给出西瓜书的示例:

西瓜包含下面两个属性,密度以及含糖率,这两个属性构成的二维向量,作为输入向量(具体数据如下表)

python实现聚类算法原理

算法大致过程如下:

python实现聚类算法原理

下图是分类的,每一轮簇心的更新结果,图中横坐标为密度属性,纵坐标为含糖率属性:

python实现聚类算法原理

4. K均值聚类算法的python实现

下面给出K-means cluster算法的实现的大致框架:

class KMeans(object):
  def __init__(self, k, init_vec, max_iter=100):
    """
    :param k:
    :param init_vec: init mean vectors type: k * n array(n properties)
    """
    self._k = k
    self._cluster_vec = init_vec
    self._max_iter = max_iter

  def fit(self, x):
    # 迭代最大次数
    for i in xrange(self._max_iter):
      print 'iteration %s' % i
      # 求每个簇心的簇类
      d_cluster = self._cluster_point(x)
      # 对现有的簇类,更新簇心
      new_center_node = self._reevaluate_center_node(d_cluster)

      # 检测簇心是否变化,判断算法收敛
      if self._check_converge(new_center_node):
        print 'found converge node'
        break
      else:
        self._cluster_vec = new_center_node

  def _cal_distance(self, vec1, vec2):
    return np.linalg.norm(vec1 - vec2)

  def _cluster_point(self, x):
    # 求每个簇心的簇
    pass
    return d_cluster

  def _reevaluate_center_node(self, d_cluster):
    # 对新的簇,求最佳簇心
    return arr_center_node

  def _check_converge(self, vec):
    # 判断簇心是否改变,算法收敛
    return np.array_equal(self._cluster_vec, vec)

具体的算法,以及见本人的github

下面给出程序的运行结果, 由图可见经过三次迭代程序收敛,并且找到最佳节点:

python实现聚类算法原理

下面再给出,另一次运行结果,可见由于初始化点选择不一样,得到的结果也是不一样的,初始点的选择对聚类算法的影响还是很大。

python实现聚类算法原理

K-means实际上是EM算法的一个特例,根据中心点(簇心)决定数据点归属是expectation,而根据构造出来的cluster更新中心(簇心)则是maximization。理解了K-means,也就顺带了解了基本的EM算法思路。

5. 参考引用

参考引用地址

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python3基础之基本运算符概述
Aug 13 Python
python使用pygame框架实现推箱子游戏
Nov 20 Python
解决PyCharm控制台输出乱码的问题
Jan 16 Python
用python实现英文字母和相应序数转换的方法
Sep 18 Python
python3中利用filter函数输出小于某个数的所有回文数实例
Nov 24 Python
python爬虫开发之Request模块从安装到详细使用方法与实例全解
Mar 09 Python
django 扩展user用户字段inlines方式
Mar 30 Python
判断Threading.start新线程是否执行完毕的实例
May 02 Python
python 瀑布线指标编写实例
Jun 03 Python
Python通过kerberos安全认证操作kafka方式
Jun 06 Python
Python 读取位于包中的数据文件
Aug 07 Python
如何使用python包中的sched事件调度器
Apr 30 Python
python web.py开发httpserver解决跨域问题实例解析
Feb 12 #Python
python生成tensorflow输入输出的图像格式的方法
Feb 12 #Python
Flask解决跨域的问题示例代码
Feb 12 #Python
tensorflow实现对图片的读取的示例代码
Feb 12 #Python
python中数据爬虫requests库使用方法详解
Feb 11 #Python
python 接口测试response返回数据对比的方法
Feb 11 #Python
使用Python读取大文件的方法
Feb 11 #Python
You might like
php字符串截取问题
2006/11/28 PHP
php+javascript的日历控件
2009/11/19 PHP
使用php发送有附件的电子邮件-(PHPMailer使用的实例分析)
2013/04/26 PHP
PHP中error_log()函数的使用方法
2015/01/20 PHP
PHP中foreach()用法汇总
2015/07/02 PHP
老生常谈PHP面向对象之标识映射
2017/06/21 PHP
PHP+Ajax简单get验证操作示例
2019/03/02 PHP
JQuery获取与设置HTML元素的内容或文本的实现代码
2014/06/20 Javascript
在NodeJS中启用ECMAScript 6小结(windos以及Linux)
2014/07/15 NodeJs
jquery显示隐藏input对象
2014/07/21 Javascript
jQuery获得子元素个数的方法
2015/04/14 Javascript
简述AngularJS的控制器的使用
2015/06/16 Javascript
JavaScript中var关键字的使用详解
2015/08/14 Javascript
分享jQuery网页元素拖拽插件
2020/12/01 Javascript
AngularJs Dependency Injection(DI,依赖注入)
2016/09/02 Javascript
jQuery Dialog 打开时自动聚焦的解决方法(两种方法)
2016/11/24 Javascript
jQuery获取Table某列的值(推荐)
2017/03/03 Javascript
Angular2.js实现表单验证详解
2017/06/23 Javascript
深入理解Vue nextTick 机制
2018/04/28 Javascript
elementUi vue el-radio 监听选中变化的实例代码
2019/06/28 Javascript
JS继承实现方法及优缺点详解
2020/09/02 Javascript
JS实现多功能计算器
2020/10/28 Javascript
微信小程序绘制半圆(弧形)进度条
2020/11/18 Javascript
[51:39]DOTA2-DPC中国联赛 正赛 Magma vs LBZS BO3 第二场 2月7日
2021/03/11 DOTA
Python编程之字符串模板(Template)用法实例分析
2017/07/22 Python
python实现简单登陆流程的方法
2018/04/22 Python
python程序封装为win32服务的方法
2021/03/07 Python
对python中的*args与**kwgs的含义与作用详解
2019/08/28 Python
Django Admin 上传文件到七牛云的示例代码
2020/06/20 Python
中粮集团旗下食品网上购物网站:我买网
2016/09/22 全球购物
环境工程毕业生自荐信
2013/11/17 职场文书
网络书店创业计划书
2014/02/07 职场文书
2016拓展训练心得体会范文
2016/01/12 职场文书
详解Python生成器和基于生成器的协程
2021/06/03 Python
vue elementUI表格控制对应列
2022/04/13 Vue.js
面试官问我Mysql的存储引擎了解多少
2022/08/05 MySQL