详解K-means算法在Python中的实现


Posted in Python onDecember 05, 2017

K-means算法简介

K-means是机器学习中一个比较常用的算法,属于无监督学习算法,其常被用于数据的聚类,只需为它指定簇的数量即可自动将数据聚合到多类中,相同簇中的数据相似度较高,不同簇中数据相似度较低。

K-MEANS算法是输入聚类个数k,以及包含 n个数据对象的数据库,输出满足方差最小标准k个聚类的一种算法。k-means 算法接受输入量 k ;然后将n个数据对象划分为 k个聚类以便使得所获得的聚类满足:同一聚类中的对象相似度较高;而不同聚类中的对象相似度较小。

核心思想

通过迭代寻找k个类簇的一种划分方案,使得用这k个类簇的均值来代表相应各类样本时所得的总体误差最小。

k个聚类具有以下特点:各聚类本身尽可能的紧凑,而各聚类之间尽可能的分开。

k-means算法的基础是最小误差平方和准则,K-menas的优缺点:

优点:

原理简单
速度快
对大数据集有比较好的伸缩性

缺点:

需要指定聚类 数量K
对异常值敏感
对初始值敏感

K-means的聚类过程

其聚类过程类似于梯度下降算法,建立代价函数并通过迭代使得代价函数值越来越小

适当选择c个类的初始中心;
在第k次迭代中,对任意一个样本,求其到c个中心的距离,将该样本归到距离最短的中心所在的类;
利用均值等方法更新该类的中心值;
对于所有的c个聚类中心,如果利用(2)(3)的迭代法更新后,值保持不变,则迭代结束,否则继续迭代。

详解K-means算法在Python中的实现

该算法的最大优势在于简洁和快速。算法的关键在于初始中心的选择和距离公式。

K-means 实例展示

python中km的一些参数:

sklearn.cluster.KMeans(
  n_clusters=8,
  init='k-means++', 
  n_init=10, 
  max_iter=300, 
  tol=0.0001, 
  precompute_distances='auto', 
  verbose=0, 
  random_state=None, 
  copy_x=True, 
  n_jobs=1, 
  algorithm='auto'
  )
n_clusters: 簇的个数,即你想聚成几类
init: 初始簇中心的获取方法
n_init: 获取初始簇中心的更迭次数,为了弥补初始质心的影响,算法默认会初始10个质心,实现算法,然后返回最好的结果。
max_iter: 最大迭代次数(因为kmeans算法的实现需要迭代)
tol: 容忍度,即kmeans运行准则收敛的条件
precompute_distances:是否需要提前计算距离,这个参数会在空间和时间之间做权衡,如果是True 会把整个距离矩阵都放到内存中,auto 会默认在数据样本大于featurs*samples 的数量大于12e6 的时候False,False 时核心实现的方法是利用Cpython 来实现的
verbose: 冗长模式(不太懂是啥意思,反正一般不去改默认值)
random_state: 随机生成簇中心的状态条件。
copy_x: 对是否修改数据的一个标记,如果True,即复制了就不会修改数据。bool 在scikit-learn 很多接口中都会有这个参数的,就是是否对输入数据继续copy 操作,以便不修改用户的输入数据。这个要理解Python 的内存机制才会比较清楚。
n_jobs: 并行设置
algorithm: kmeans的实现算法,有:'auto', ‘full', ‘elkan', 其中 ‘full'表示用EM方式实现
虽然有很多参数,但是都已经给出了默认值。所以我们一般不需要去传入这些参数,参数的。可以根据实际需要来调用。

下面展示一个代码例子

from sklearn.cluster import KMeans
from sklearn.externals import joblib
from sklearn import cluster
import numpy as np

# 生成10*3的矩阵
data = np.random.rand(10,3)
print data
# 聚类为4类
estimator=KMeans(n_clusters=4)
# fit_predict表示拟合+预测,也可以分开写
res=estimator.fit_predict(data)
# 预测类别标签结果
lable_pred=estimator.labels_
# 各个类别的聚类中心值
centroids=estimator.cluster_centers_
# 聚类中心均值向量的总和
inertia=estimator.inertia_

print lable_pred
print centroids
print inertia

代码执行结果
[0 2 1 0 2 2 0 3 2 0]

[[ 0.3028348  0.25183096 0.62493622]
 [ 0.88481287 0.70891813 0.79463764]
 [ 0.66821961 0.54817207 0.30197415]
 [ 0.11629904 0.85684903 0.7088385 ]]
 
0.570794546829

为了更直观的描述,这次在图上做一个展示,由于图像上绘制二维比较直观,所以数据调整到了二维,选取100个点绘制,聚类类别为3类

from sklearn.cluster import KMeans
from sklearn.externals import joblib
from sklearn import cluster
import numpy as np
import matplotlib.pyplot as plt

data = np.random.rand(100,2)
estimator=KMeans(n_clusters=3)
res=estimator.fit_predict(data)
lable_pred=estimator.labels_
centroids=estimator.cluster_centers_
inertia=estimator.inertia_
#print res
print lable_pred
print centroids
print inertia

for i in range(len(data)):
  if int(lable_pred[i])==0:
    plt.scatter(data[i][0],data[i][1],color='red')
  if int(lable_pred[i])==1:
    plt.scatter(data[i][0],data[i][1],color='black')
  if int(lable_pred[i])==2:
    plt.scatter(data[i][0],data[i][1],color='blue')
plt.show()

详解K-means算法在Python中的实现

可以看到聚类效果还是不错的,对k-means的聚类效率进行了一个测试,将维度扩宽到50维

数据规模 消耗时间 数据维度
10000条 4s 50维
100000条 30s 50维
1000000条 4'13s 50维

对于百万级的数据,拟合时间还是能够接受的,可见效率还是不错,对模型的保存与其它的机器学习算法模型保存类似

from sklearn.externals import joblib
joblib.dump(km,"model/km_model.m")

总结

以上就是本文关于详解K-means算法在Python中的实现的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站:

Python实现调度算法代码详解

Python算法输出1-9数组形成的结果为100的所有运算式

Python编程实现蚁群算法详解

如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
详解Django框架中的视图级缓存
Jul 23 Python
浅谈Python爬取网页的编码处理
Nov 04 Python
Python 获取当前所在目录的方法详解
Aug 02 Python
Python中将dataframe转换为字典的实例
Apr 13 Python
关于python多重赋值的小问题
Apr 17 Python
python openpyxl使用方法详解
Jul 18 Python
Django框架组成结构、基本概念与文件功能分析
Jul 30 Python
python生成器用法实例详解
Nov 22 Python
Django DRF认证组件流程实现原理详解
Aug 17 Python
Jupyter notebook命令和编辑模式常用快捷键汇总
Nov 17 Python
解决Django transaction进行事务管理踩过的坑
Apr 24 Python
Python进阶学习之带你探寻Python类的鼻祖-元类
May 08 Python
Python实现字符串匹配算法代码示例
Dec 05 #Python
Django实现简单分页功能的方法详解
Dec 05 #Python
Python生成8位随机字符串的方法分析
Dec 05 #Python
在Python程序员面试中被问的最多的10道题
Dec 05 #Python
Python对列表去重的多种方法(四种方法)
Dec 05 #Python
详解Python在七牛云平台的应用(一)
Dec 05 #Python
Python 快速实现CLI 应用程序的脚手架
Dec 05 #Python
You might like
PHP 数组排序方法总结 推荐收藏
2010/06/30 PHP
zen_cart实现支付前生成订单的方法
2016/05/06 PHP
php中json_encode不兼容JSON_UNESCAPED_UNICODE的解决方案
2016/05/31 PHP
一个简单的php MVC留言本实例代码(必看篇)
2016/09/22 PHP
php 读写json文件及修改json的方法
2018/03/07 PHP
ThinkPHP3.2框架自定义配置和加载用法示例
2018/06/14 PHP
javascript div 弹出可拖动窗口
2009/02/26 Javascript
基于JQuery实现相同内容合并单元格的代码
2011/01/12 Javascript
如何确保JavaScript的执行顺序 之jQuery.html深度分析
2011/03/03 Javascript
THREE.JS入门教程(6)创建自己的全景图实现步骤
2013/01/25 Javascript
Javascript表格翻页效果实现思路及代码
2013/08/23 Javascript
JS实现div居中示例
2014/04/17 Javascript
IE浏览器不支持getElementsByClassName的解决方法
2014/08/27 Javascript
JS实现动态生成表格并提交表格数据向后端
2020/11/25 Javascript
漫谈JS引擎的运行机制 你应该知道什么
2016/06/15 Javascript
AngularJS入门教程之AngularJS 模板
2016/08/18 Javascript
利用jQuery来动态为属性添加或者删除属性的简单方法
2016/12/02 Javascript
bootstrap PrintThis打印插件使用详解
2017/02/20 Javascript
JS中IP地址与整数相互转换的实现代码
2017/04/10 Javascript
JS实现元素上下左右移动效果
2017/10/18 Javascript
vuex + keep-alive实现tab标签页面缓存功能
2019/10/17 Javascript
Python使用Paramiko模块编写脚本进行远程服务器操作
2016/05/05 Python
Pytorch的mean和std调查实例
2020/01/02 Python
解决Python import docx出错DLL load failed的问题
2020/02/13 Python
python调用私有属性的方法总结
2020/07/24 Python
简单的命令查看安装的python版本号
2020/08/28 Python
Python之字典添加元素的几种方法
2020/09/30 Python
lululemon美国官网:瑜伽服+跑步装备
2018/11/16 全球购物
在DELPHI中调用存储过程和使用内嵌SQL哪种方式更好
2016/11/22 面试题
六年级数学教学反思
2014/02/03 职场文书
格列佛游记读书笔记
2015/06/30 职场文书
特种设备安全管理制度
2015/08/06 职场文书
2019职场实习报告该怎么写?
2019/07/01 职场文书
利用Python网络爬虫爬取各大音乐评论的代码
2021/04/13 Python
OpenCV-Python实现怀旧滤镜与连环画滤镜
2021/06/09 Python
Python万能模板案例之matplotlib绘制甘特图
2022/04/13 Python