Python机器学习之K-Means聚类实现详解


Posted in Python onFebruary 22, 2018

本文为大家分享了Python机器学习之K-Means聚类的实现代码,供大家参考,具体内容如下

1.K-Means聚类原理

K-means算法是很典型的基于距离的聚类算法,采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大。其基本思想是:以空间中k个点为中心进行聚类,对最靠近他们的对象归类。通过迭代的方法,逐次更新各聚类中心的值,直至得到最好的聚类结果。各聚类本身尽可能的紧凑,而各聚类之间尽可能的分开。
算法大致流程为:(1)随机选取k个点作为种子点(这k个点不一定属于数据集);(2)分别计算每个数据点到k个种子点的距离,离哪个种子点最近,就属于哪类;(3)重新计算k个种子点的坐标(简单常用的方法是求坐标值的平均值作为新的坐标值;(4)重复2、3步,直到种子点坐标不变或者循环次数完成。

2.数据及其寻找初步的聚类中心

数据为Matlab加载格式(mat),包含X变量,数据来源为(大家可以去这下载),X为300*2维变量,由于是2维,所以基本上就是在平面坐标轴上的一些点中进行聚类。

我们首先构建初步寻找聚类中心(centroids,质心)函数,再随机设置初始质心,通过欧氏距离初步判断X的每一个变量属于哪个质心。代码为:

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sb
from scipy.io import loadmat

def find_closest_centroids(X, centroids):
  m = X.shape[0]
  k = centroids.shape[0] #要聚类的类别个数
  idx = np.zeros(m) 
  
  for i in range(m):
    min_dist = 1000000 #迭代终止条件
    for j in range(k):
      dist = np.sum((X[i,:] - centroids[j,:]) ** 2) 
      if dist < min_dist:
        # 记录当前最短距离和其中心的索引值
        min_dist = dist
        idx[i] = j
  
  return idx
data = loadmat('D:\python\Python ml\ex7data2.mat')
X = data['X']
initial_centroids = np.array([[3, 3], [6, 2], [8, 5]])

idx = find_closest_centroids(X, initial_centroids)
idx[0:3]

在这里先生成m(这里为300)个0向量,即idx,也就是假设X的每个变量均属于0类,然后再根据与初始质心的距离计算dist = np.sum((X[i,:] - centroids[j,:]) ** 2),初步判断每个变量归属哪个类,最终替代idx中的0.

3.不断迭代寻找质心的位置并实现kmeans算法

上述idx得到的300维向量是判断X中每个变量的归属类别,在此基础上,再对初始质心集群位置不断调整,寻找最优质心。

def compute_centroids(X, idx, k):
  m, n = X.shape
  centroids = np.zeros((k, n))
  
  for i in range(k):
    indices = np.where(idx == i)
    centroids[i,:] = (np.sum(X[indices,:], axis=1) / len(indices[0])).ravel()
  #这里简单的将该类中心的所有数值求平均值作为新的类中心
return centroids
compute_centroids(X, idx, 3)

根据上述函数,来构建kmeans函数实现K-means聚类算法。然后根据得到的每个变量归属类别与质心坐标,进行可视化。

def run_k_means(X, initial_centroids, max_iters):
  m, n = X.shape
  k = initial_centroids.shape[0]
  idx = np.zeros(m)
  centroids = initial_centroids
  
  for i in range(max_iters):
    idx = find_closest_centroids(X, centroids)
    centroids = compute_centroids(X, idx, k)
  
  return idx, centroids
idx, centroids = run_k_means(X, initial_centroids, 10)
cluster1 = X[np.where(idx == 0)[0],:] #获取X中属于第一个类别的数据集合,即类别1的点
cluster2 = X[np.where(idx == 1)[0],:]
cluster3 = X[np.where(idx == 2)[0],:]

fig, ax = plt.subplots(figsize=(12,8))
ax.scatter(cluster1[:,0], cluster1[:,1], s=30, color='r', label='Cluster 1')
ax.scatter(cluster2[:,0], cluster2[:,1], s=30, color='g', label='Cluster 2')
ax.scatter(cluster3[:,0], cluster3[:,1], s=30, color='b', label='Cluster 3')
ax.legend()
plt.show()

得到图形如下:

Python机器学习之K-Means聚类实现详解

image.png

4.关于初始化质心的设置

我们前边设置的初始质心:[3, 3], [6, 2], [8, 5],是事先设定的,并由此生成idx(每一变量归属类别的向量),这是后边进行kmeans聚类的基础,实际上对于二维以上数据,由于无法在平面坐标轴展示,很难一开始就设定较好的初始质心,另外,初始质心的设定也可能会影响算法的收敛性。所以需要我们再构造个初始化质心设定函数,来更好地设置初始质心。

def init_centroids(X, k):
  m, n = X.shape
  centroids = np.zeros((k, n)) #初始化零矩阵
  idx = np.random.randint(0, m, k) #返回0-m之间的整数值
  
  for i in range(k):
    centroids[i,:] = X[idx[i],:]
  
return centroids
init_centroids(X, 3)

这里所生成的初始质心位置,其实就是从X的数据中随机找3个变量作为初始值。在此基础上,令initial_centroids = init_centroids(X, 3),然后代入前边的code中,重新运行一遍即可。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python3中使用urllib的方法详解(header,代理,超时,认证,异常处理)
Sep 21 Python
Python 专题二 条件语句和循环语句的基础知识
Mar 19 Python
利用python 更新ssh 远程代码 操作远程服务器的实现代码
Feb 08 Python
Python基于最小二乘法实现曲线拟合示例
Jun 14 Python
python 地图经纬度转换、纠偏的实例代码
Aug 06 Python
Python为何不能用可变对象作为默认参数的值
Jul 01 Python
Django跨域资源共享问题(推荐)
Mar 09 Python
解决python DataFrame 打印结果不换行问题
Apr 09 Python
tensorflow从ckpt和从.pb文件读取变量的值方式
May 26 Python
python:删除离群值操作(每一行为一类数据)
Jun 08 Python
Python 远程开关机的方法
Nov 18 Python
Python实现对齐打印 format函数的用法
Apr 28 Python
python实现远程通过网络邮件控制计算机重启或关机
Feb 22 #Python
python实现微信发送邮件关闭电脑功能
Feb 22 #Python
python使用itchat实现手机控制电脑
Feb 22 #Python
Python实现利用163邮箱远程关电脑脚本
Feb 22 #Python
Python3.4实现远程控制电脑开关机
Feb 22 #Python
python实现微信远程控制电脑
Feb 22 #Python
Python标准库笔记struct模块的使用
Feb 22 #Python
You might like
全国FM电台频率大全 - 7 吉林省
2020/03/11 无线电
php正则
2006/07/07 PHP
大家在抢红包,程序员在研究红包算法
2015/08/31 PHP
PHP在线书签系统分享
2016/01/04 PHP
PHP入门教程之自定义函数用法详解(创建,调用,变量,参数,返回值等)
2016/09/11 PHP
redirect_uri参数错误的解决方法(必看)
2017/02/16 PHP
作为PHP程序员你要知道的另外一种日志
2018/07/30 PHP
PHP命名空间(namespace)原理与用法详解
2019/12/11 PHP
JS 文件大小判断的实现代码
2010/04/07 Javascript
jquery.combobox中文api和例子,修复了上面的小bug
2011/03/28 Javascript
JavaScript入门之事件、cookie、定时等
2011/10/21 Javascript
js arguments对象应用介绍
2012/11/28 Javascript
html5的自定义data-*属性和jquery的data()方法的使用示例
2013/08/21 Javascript
js匿名函数的调用示例(形式多种多样)
2014/08/20 Javascript
javascript继承的六大模式小结
2015/04/13 Javascript
详解JavaScript中Date.UTC()方法的使用
2015/06/12 Javascript
JS拖动鼠标画出方框实现鼠标选区的方法
2015/08/05 Javascript
Angular2自定义分页组件
2017/04/19 Javascript
详解webpack的配置文件entry与output
2017/08/21 Javascript
JS实现去除数组中重复json的方法示例
2017/12/21 Javascript
JavaScript实现多个物体同时运动
2020/03/12 Javascript
Python获取系统默认字符编码的方法
2015/06/04 Python
python 实现对文件夹内的文件排序编号
2018/04/12 Python
Django使用HttpResponse返回图片并显示的方法
2018/05/22 Python
Python3.5文件读与写操作经典实例详解
2019/05/01 Python
Python流行ORM框架sqlalchemy安装与使用教程
2019/06/04 Python
python getopt模块使用实例解析
2019/12/18 Python
Python3-异步进程回调函数(callback())介绍
2020/05/02 Python
利用PyQt5+Matplotlib 绘制静态/动态图的实现代码
2020/07/13 Python
css3中flex布局宽度不生效的解决
2020/12/09 HTML / CSS
酒店总经理欢迎词
2014/01/15 职场文书
2014年妇委会工作总结
2014/12/10 职场文书
党员自我评价2015
2015/03/03 职场文书
农贸批发市场管理制度
2015/08/07 职场文书
《金钱的魔力》教学反思
2016/02/20 职场文书
springboot+WebMagic+MyBatis爬虫框架的使用
2021/08/07 Java/Android