python实现聚类算法原理


Posted in Python onFebruary 12, 2018

本文主要内容:

  • 聚类算法的特点
  • 聚类算法样本间的属性(包括,有序属性、无序属性)度量标准
  • 聚类的常见算法,原型聚类(主要论述K均值聚类),层次聚类、密度聚类
  • K均值聚类算法的python实现,以及聚类算法与EM最大算法的关系
  • 参考引用

先上一张gif的k均值聚类算法动态图片,让大家对算法有个感性认识:

python实现聚类算法原理

其中:N=200代表有200个样本,不同的颜色代表不同的簇(其中 3种颜色为3个簇),星星代表每个簇的簇心。算法通过25次迭代找到收敛的簇心,以及对应的簇。 每次迭代的过程中,簇心和对应的簇都在变化。

聚类算法的特点

聚类算法是无监督学习算法和前面的有监督算法不同,训练数据集可以不指定类别(也可以指定)。聚类算法对象归到同一簇中,类似全自动分类。簇内的对象越相似,聚类的效果越好。K-均值聚类是每个类别簇都是采用簇中所含值的均值计算而成。

python实现聚类算法原理

聚类样本间的属性(包括,有序属性、无序属性)度量标准 1. 有序属性

例如:西瓜的甜度:0.1, 0.5, 0.9(值越大,代表越甜)

我们可以使用明可夫斯基距离定义:

python实现聚类算法原理

2. 无序属性

例如:色泽,青绿、浅绿、深绿(又例如: 性别: 男, 女, 中性,人yao…明显也不能使用0.1, 0.2 等表示求距离)。这些不能使用连续的值表示,求距离的,一般使用VDM计算:

python实现聚类算法原理

python实现聚类算法原理

聚类的常见算法,原型聚类(主要论述K均值聚类),层次聚类、密度聚类

聚类算法分为如下三大类:

1. 原型聚类(包含3个子类算法):

K均值聚类算法

学习向量量化

高斯混合聚类

2. 密度聚类:

3. 层次聚类:

下面主要说明K均值聚类算法(示例来源于,周志华西瓜书)

算法基本思想:

K-Means 是发现给定数据集的 K 个簇的聚类算法, 之所以称之为 K-均值 是因为它可以发现 K 个不同的簇,且每个簇的中心采用簇中所含值的均值计算而成.簇个数 K 是用户指定的, 每一个簇通过其质心(centroid), 即簇中所有点的中心来描述.

算法流程如下:

python实现聚类算法原理

主要是三个步骤:

  • 初始化选择K个簇心,假设样本有 m个属性,则相当于k个m为向量
  • 对于k个簇,求离其最近的样本,并划分新的簇
  • 对于每个新的簇,更新簇心的向量(一般可以求簇的样本的属性的均值)
  • 重复2~3直到算法收敛,或者运行了指定的次数

下面给出西瓜书的示例:

西瓜包含下面两个属性,密度以及含糖率,这两个属性构成的二维向量,作为输入向量(具体数据如下表)

python实现聚类算法原理

算法大致过程如下:

python实现聚类算法原理

下图是分类的,每一轮簇心的更新结果,图中横坐标为密度属性,纵坐标为含糖率属性:

python实现聚类算法原理

4. K均值聚类算法的python实现

下面给出K-means cluster算法的实现的大致框架:

class KMeans(object):
  def __init__(self, k, init_vec, max_iter=100):
    """
    :param k:
    :param init_vec: init mean vectors type: k * n array(n properties)
    """
    self._k = k
    self._cluster_vec = init_vec
    self._max_iter = max_iter

  def fit(self, x):
    # 迭代最大次数
    for i in xrange(self._max_iter):
      print 'iteration %s' % i
      # 求每个簇心的簇类
      d_cluster = self._cluster_point(x)
      # 对现有的簇类,更新簇心
      new_center_node = self._reevaluate_center_node(d_cluster)

      # 检测簇心是否变化,判断算法收敛
      if self._check_converge(new_center_node):
        print 'found converge node'
        break
      else:
        self._cluster_vec = new_center_node

  def _cal_distance(self, vec1, vec2):
    return np.linalg.norm(vec1 - vec2)

  def _cluster_point(self, x):
    # 求每个簇心的簇
    pass
    return d_cluster

  def _reevaluate_center_node(self, d_cluster):
    # 对新的簇,求最佳簇心
    return arr_center_node

  def _check_converge(self, vec):
    # 判断簇心是否改变,算法收敛
    return np.array_equal(self._cluster_vec, vec)

具体的算法,以及见本人的github

下面给出程序的运行结果, 由图可见经过三次迭代程序收敛,并且找到最佳节点:

python实现聚类算法原理

下面再给出,另一次运行结果,可见由于初始化点选择不一样,得到的结果也是不一样的,初始点的选择对聚类算法的影响还是很大。

python实现聚类算法原理

K-means实际上是EM算法的一个特例,根据中心点(簇心)决定数据点归属是expectation,而根据构造出来的cluster更新中心(簇心)则是maximization。理解了K-means,也就顺带了解了基本的EM算法思路。

5. 参考引用

参考引用地址

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python fabric实现远程操作和部署示例
Mar 25 Python
举例讲解Python中字典的合并值相加与异或对比
Jun 04 Python
django之常用命令详解
Jun 30 Python
Python模拟用户登录验证
Sep 11 Python
Python数据结构与算法之使用队列解决小猫钓鱼问题
Dec 14 Python
python opencv 图像尺寸变换方法
Apr 02 Python
scrapy-redis源码分析之发送POST请求详解
May 15 Python
基于pytorch的保存和加载模型参数的方法
Aug 17 Python
用python求一重积分和二重积分的例子
Dec 06 Python
Python流程控制语句的深入讲解
Jun 15 Python
解决导入django_filters不成功问题No module named 'django_filter'
Jul 15 Python
Python读取yaml文件的详细教程
Jul 21 Python
python web.py开发httpserver解决跨域问题实例解析
Feb 12 #Python
python生成tensorflow输入输出的图像格式的方法
Feb 12 #Python
Flask解决跨域的问题示例代码
Feb 12 #Python
tensorflow实现对图片的读取的示例代码
Feb 12 #Python
python中数据爬虫requests库使用方法详解
Feb 11 #Python
python 接口测试response返回数据对比的方法
Feb 11 #Python
使用Python读取大文件的方法
Feb 11 #Python
You might like
PHP正确解析UTF-8字符串技巧应用
2012/11/07 PHP
PHP中iconv函数转码时截断字符问题的解决方法
2015/01/21 PHP
php实现XSS安全过滤的方法
2015/07/29 PHP
php编程中echo用逗号和用点号连接的区别
2016/03/26 PHP
php源码之将图片转化为data/base64数据流实例详解
2016/11/27 PHP
Laravel 5.2 文档 数据库 ―― 起步介绍
2019/10/21 PHP
CCPry JS类库 代码
2009/10/30 Javascript
页面回到顶部的三种实现(锚标记,js)
2012/10/01 Javascript
jquery formValidator插件ajax验证 内容不做任何修改再离开提示错误的bug解决方法
2013/01/04 Javascript
Ajax同步与异步传输的示例代码
2013/11/21 Javascript
javascript中取前n天日期的两种方法分享
2014/01/26 Javascript
jquery向上向下取整适合分页查询
2014/09/06 Javascript
Javascript 计算字符串在localStorage中所占字节数
2015/10/21 Javascript
jQuery-1.9.1源码分析系列(十一)DOM操作续之克隆节点
2015/12/01 Javascript
JS判断字符串变量是否含有某个字串的实现方法
2016/06/03 Javascript
给vue项目添加ESLint的详细步骤
2017/09/29 Javascript
Vue路由对象属性 .meta $route.matched详解
2019/11/04 Javascript
JavaScript实现京东快递单号查询
2020/11/30 Javascript
opencv python 图像去噪的实现方法
2018/08/31 Python
PyQt5图形界面播放音乐的实例
2019/06/17 Python
Python搭建Spark分布式集群环境
2019/07/05 Python
python代码实现图书管理系统
2020/11/30 Python
HTML5语义化元素你真的用对了吗
2019/08/22 HTML / CSS
HTML5实现无刷新修改URL的方法
2019/11/14 HTML / CSS
向全球直邮输送天然健康产品:iHerb.com
2020/05/03 全球购物
what is the difference between ext2 and ext3
2015/08/25 面试题
高中毕业自我鉴定
2013/12/22 职场文书
洗发露广告词
2014/03/14 职场文书
个人课题方案
2014/05/08 职场文书
大学毕业生推荐信
2014/07/09 职场文书
个人委托书范本汇总
2014/10/01 职场文书
2015年防灾减灾工作总结
2015/07/24 职场文书
中学生国庆节演讲稿2015
2015/07/30 职场文书
python分分钟绘制精美地图海报
2022/02/15 Python
python数字图像处理:图像的绘制
2022/06/28 Python
Python使用pandas导入xlsx格式的excel文件内容操作代码
2022/12/24 Python