python实现聚类算法原理


Posted in Python onFebruary 12, 2018

本文主要内容:

  • 聚类算法的特点
  • 聚类算法样本间的属性(包括,有序属性、无序属性)度量标准
  • 聚类的常见算法,原型聚类(主要论述K均值聚类),层次聚类、密度聚类
  • K均值聚类算法的python实现,以及聚类算法与EM最大算法的关系
  • 参考引用

先上一张gif的k均值聚类算法动态图片,让大家对算法有个感性认识:

python实现聚类算法原理

其中:N=200代表有200个样本,不同的颜色代表不同的簇(其中 3种颜色为3个簇),星星代表每个簇的簇心。算法通过25次迭代找到收敛的簇心,以及对应的簇。 每次迭代的过程中,簇心和对应的簇都在变化。

聚类算法的特点

聚类算法是无监督学习算法和前面的有监督算法不同,训练数据集可以不指定类别(也可以指定)。聚类算法对象归到同一簇中,类似全自动分类。簇内的对象越相似,聚类的效果越好。K-均值聚类是每个类别簇都是采用簇中所含值的均值计算而成。

python实现聚类算法原理

聚类样本间的属性(包括,有序属性、无序属性)度量标准 1. 有序属性

例如:西瓜的甜度:0.1, 0.5, 0.9(值越大,代表越甜)

我们可以使用明可夫斯基距离定义:

python实现聚类算法原理

2. 无序属性

例如:色泽,青绿、浅绿、深绿(又例如: 性别: 男, 女, 中性,人yao…明显也不能使用0.1, 0.2 等表示求距离)。这些不能使用连续的值表示,求距离的,一般使用VDM计算:

python实现聚类算法原理

python实现聚类算法原理

聚类的常见算法,原型聚类(主要论述K均值聚类),层次聚类、密度聚类

聚类算法分为如下三大类:

1. 原型聚类(包含3个子类算法):

K均值聚类算法

学习向量量化

高斯混合聚类

2. 密度聚类:

3. 层次聚类:

下面主要说明K均值聚类算法(示例来源于,周志华西瓜书)

算法基本思想:

K-Means 是发现给定数据集的 K 个簇的聚类算法, 之所以称之为 K-均值 是因为它可以发现 K 个不同的簇,且每个簇的中心采用簇中所含值的均值计算而成.簇个数 K 是用户指定的, 每一个簇通过其质心(centroid), 即簇中所有点的中心来描述.

算法流程如下:

python实现聚类算法原理

主要是三个步骤:

  • 初始化选择K个簇心,假设样本有 m个属性,则相当于k个m为向量
  • 对于k个簇,求离其最近的样本,并划分新的簇
  • 对于每个新的簇,更新簇心的向量(一般可以求簇的样本的属性的均值)
  • 重复2~3直到算法收敛,或者运行了指定的次数

下面给出西瓜书的示例:

西瓜包含下面两个属性,密度以及含糖率,这两个属性构成的二维向量,作为输入向量(具体数据如下表)

python实现聚类算法原理

算法大致过程如下:

python实现聚类算法原理

下图是分类的,每一轮簇心的更新结果,图中横坐标为密度属性,纵坐标为含糖率属性:

python实现聚类算法原理

4. K均值聚类算法的python实现

下面给出K-means cluster算法的实现的大致框架:

class KMeans(object):
  def __init__(self, k, init_vec, max_iter=100):
    """
    :param k:
    :param init_vec: init mean vectors type: k * n array(n properties)
    """
    self._k = k
    self._cluster_vec = init_vec
    self._max_iter = max_iter

  def fit(self, x):
    # 迭代最大次数
    for i in xrange(self._max_iter):
      print 'iteration %s' % i
      # 求每个簇心的簇类
      d_cluster = self._cluster_point(x)
      # 对现有的簇类,更新簇心
      new_center_node = self._reevaluate_center_node(d_cluster)

      # 检测簇心是否变化,判断算法收敛
      if self._check_converge(new_center_node):
        print 'found converge node'
        break
      else:
        self._cluster_vec = new_center_node

  def _cal_distance(self, vec1, vec2):
    return np.linalg.norm(vec1 - vec2)

  def _cluster_point(self, x):
    # 求每个簇心的簇
    pass
    return d_cluster

  def _reevaluate_center_node(self, d_cluster):
    # 对新的簇,求最佳簇心
    return arr_center_node

  def _check_converge(self, vec):
    # 判断簇心是否改变,算法收敛
    return np.array_equal(self._cluster_vec, vec)

具体的算法,以及见本人的github

下面给出程序的运行结果, 由图可见经过三次迭代程序收敛,并且找到最佳节点:

python实现聚类算法原理

下面再给出,另一次运行结果,可见由于初始化点选择不一样,得到的结果也是不一样的,初始点的选择对聚类算法的影响还是很大。

python实现聚类算法原理

K-means实际上是EM算法的一个特例,根据中心点(簇心)决定数据点归属是expectation,而根据构造出来的cluster更新中心(簇心)则是maximization。理解了K-means,也就顺带了解了基本的EM算法思路。

5. 参考引用

参考引用地址

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python基于递归算法实现的走迷宫问题
Aug 04 Python
Python编程之基于概率论的分类方法:朴素贝叶斯
Nov 11 Python
python自动12306抢票软件实现代码
Feb 24 Python
python 每天如何定时启动爬虫任务(实现方法分享)
May 21 Python
Python实现的生产者、消费者问题完整实例
May 30 Python
Django查询优化及ajax编码格式原理解析
Mar 25 Python
python实现文字版扫雷
Apr 24 Python
Python爬虫实现自动登录、签到功能的代码
Aug 20 Python
协程Python 中实现多任务耗资源最小的方式
Oct 19 Python
jupyter notebook更换皮肤主题的实现
Jan 07 Python
Python中lru_cache的使用和实现详解
Jan 25 Python
Python类方法总结讲解
Jul 26 Python
python web.py开发httpserver解决跨域问题实例解析
Feb 12 #Python
python生成tensorflow输入输出的图像格式的方法
Feb 12 #Python
Flask解决跨域的问题示例代码
Feb 12 #Python
tensorflow实现对图片的读取的示例代码
Feb 12 #Python
python中数据爬虫requests库使用方法详解
Feb 11 #Python
python 接口测试response返回数据对比的方法
Feb 11 #Python
使用Python读取大文件的方法
Feb 11 #Python
You might like
详解EventDispatcher事件分发组件
2016/12/25 PHP
Yii框架模拟组件调用注入示例
2019/11/11 PHP
浅析JavaScript中的delete运算符
2013/11/30 Javascript
jquery prop的使用介绍及与attr的区别
2013/12/19 Javascript
JavaScript获取指定元素位置的方法
2015/04/08 Javascript
jQuery实现页面内锚点平滑跳转特效的方法总结
2015/05/11 Javascript
AspNet中使用JQuery boxy插件的确认框
2015/05/20 Javascript
jQuery实现可以编辑的表格实例详解【附demo源码下载】
2016/07/09 Javascript
使用BootStrap实现标签切换原理解析
2017/03/14 Javascript
javascript作用域链与执行环境详解
2017/03/25 Javascript
NodeJS父进程与子进程资源共享原理与实现方法
2018/03/16 NodeJs
node实现基于token的身份验证
2018/04/09 Javascript
react配合antd组件实现的管理系统示例代码
2018/04/24 Javascript
用POSTMAN发送JSON格式的POST请求示例
2018/09/04 Javascript
超轻量级的js时间库miment使用解析
2019/08/02 Javascript
分享15个最受欢迎的Python开源框架
2014/07/13 Python
Python实现从url中提取域名的几种方法
2014/09/26 Python
pygame学习笔记(3):运动速率、时间、事件、文字
2015/04/15 Python
python定时执行指定函数的方法
2015/05/27 Python
利用python获取Ping结果示例代码
2017/07/06 Python
多版本python的pip 升级后, pip2 pip3 与python版本失配解决方法
2019/09/11 Python
Python中的四种交换数值的方法解析
2019/11/18 Python
pycharm激活码有效到2020年11月底
2020/09/18 Python
浅析python 定时拆分备份 nginx 日志的方法
2020/04/27 Python
Python如何使用正则表达式爬取京东商品信息
2020/06/01 Python
10个示例带你掌握python中的元组
2020/11/23 Python
python爬取2021猫眼票房字体加密实例
2021/02/19 Python
YSL圣罗兰美妆英国官网:Yves Saint Laurent Beauty UK
2019/08/03 全球购物
项目考察欢迎辞
2014/01/17 职场文书
程序员求职信
2014/04/16 职场文书
物流专业专科生职业生涯规划书
2014/09/14 职场文书
大学生个人年度总结范文
2015/02/15 职场文书
六一文艺汇演主持词
2015/06/30 职场文书
小学四年级班主任工作经验交流材料
2015/11/02 职场文书
2016毕业实习单位评语大全
2015/12/01 职场文书
nginx之内存池的实现
2022/06/28 Servers