Kmeans均值聚类算法原理以及Python如何实现


Posted in Python onSeptember 26, 2020

第一步.随机生成质心

由于这是一个无监督学习的算法,因此我们首先在一个二维的坐标轴下随机给定一堆点,并随即给定两个质心,我们这个算法的目的就是将这一堆点根据它们自身的坐标特征分为两类,因此选取了两个质心,什么时候这一堆点能够根据这两个质心分为两堆就对了。如下图所示:

Kmeans均值聚类算法原理以及Python如何实现

第二步.根据距离进行分类

红色和蓝色的点代表了我们随机选取的质心。既然我们要让这一堆点的分为两堆,且让分好的每一堆点离其质心最近的话,我们首先先求出每一个点离质心的距离。假如说有一个点离红色的质心比例蓝色的质心更近,那么我们则将这个点归类为红色质心这一类,反之则归于蓝色质心这一类,如图所示:

Kmeans均值聚类算法原理以及Python如何实现

第三步.求出同一类点的均值,更新质心位置

在这一步当中,我们将同一类点的x\y的值进行平均,求出所有点之和的平均值,这个值(x,y)则是我们新的质心的位置,如图所示:

Kmeans均值聚类算法原理以及Python如何实现

我们可以看到,质心的位置已经发生了改变。

第四步.重复第二步,第三步

我们重复第二步和第三部的操作,不断求出点对质心的最小值之后进行分类,分类之后再更新质心的位置,直到得到迭代次数的上限(这个迭代次数是可以我们自己设定的,比如10000次),或者在做了n次迭代之后,最后两次迭代质心的位置已经保持不变,如下图所示:

Kmeans均值聚类算法原理以及Python如何实现

这个时候我们就将这一堆点按照它们的特征在没有监督的条件下,分成了两类了!!

五.如果面对多个特征确定的一个点的情况,又该如何实现聚类呢?

首先我们引入一个概念,那就是欧式距离,欧式距离是这样定义的,很容易理解:

Kmeans均值聚类算法原理以及Python如何实现

很显然,欧式距离d(xi,xj)等于我们每一个点的特征去减去另一个点在该维度下的距离的平方和再开根号,十分容易理解。

我们也可以用另一种方式来理解kmeans算法,那就是使某一个点的和另一些点的方差做到最小则实现了聚类,如下图所示:

Kmeans均值聚类算法原理以及Python如何实现

得解!

六:代码实现

我们现在使用Python语言来实现这个kmeans均值算法,首先我们先导入一个名叫make_blobs的数据集datasets,然后分别使用两个变量X,和y进行接收。X表示我们得到的数据,y表示这个数据应该被分类到的是哪一个类别当中,当然在我们实际的数据当中不会告诉我们哪个数据分在了哪一个类别当中,只会有X当中数据。在这里写代码的时候比较特殊,make_blobs库要求我们必须接受这两个参数,不能够只接受X这个数据参数,代码如下

plt.figure(figsize=(15,15))#规定我们绘图的大小为12*12

X, y=make_blobs(n_samples=1600,random_state=170)#一共取用1600个sample,同时状态设定为随机
#不知道这个状态随机是什么意思,只能查有关这个库的官方文档,同时这个数据集规定了是具备三个数据中心,也就是三个簇
y_pred=KMeans(n_clusters=3,random_state=170).fit_predict(X)

plt.subplot(221)#表示四个方格当中的第一格
plt.scatter(X[:,0],X[:,1],c=y_pred)#表示数据的第0个和第1个维度,同时数据的colour与predict的结果有关
plt.title("The result of the Kmeans")

plt.subplot(222)#表示四个方格当中的第一格
plt.scatter(X[:,0],X[:,1],c=y)
plt.title("The Real result of the Kmeans")

array=np.array([[0.60834549,-0.63667341],[-0.40887178,-0.85253229]])
lashen=np.dot(X,array)
y_pred=KMeans(n_clusters=3,random_state=170).fit_predict(lashen)

plt.subplot(223)#表示四个方格当中的第一格
plt.scatter(lashen[:,0],lashen[:,1],c=y_pred)#表示数据的第0个和第1个维度,同时数据的colour与predict的结果有关
plt.title("The Real result of the tranfored data")

我们在使用scatter函数进行绘图的时候会根据我们数据结的形状来编写相应的代码,这里我们所拿到的X数据集的行数是我们所指定的1600行,因为我们一共拿到了1600个数据,每一个数据仅有两个特征,也就是在XY轴当中的坐标,因此X是一个二维的ndarray对象(X是numpy当中的ndarray对象),我们可以打印出来看看这个数据的构成,如下图所示:

Kmeans均值聚类算法原理以及Python如何实现

同时我们也可以看到y也是ndarray对象,由于我们在采集数据的时候仅仅接受了3个簇,make_blobs默认接受的是三个簇(或称cluster)的缘故,因此最后y的值只有0,1,2这三种可能。我们通过matplotlib绘图,绘制出我们分类的结果图,也就是上述代码的运行结果如下:

Kmeans均值聚类算法原理以及Python如何实现

以上就是Kmeans均值聚类算法原理以及Python如何实现的详细内容,更多关于Kmeans均值聚类算法的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python实现定时播放mp3
Mar 29 Python
在Python中使用base64模块处理字符编码的教程
Apr 28 Python
python OpenCV学习笔记实现二维直方图
Feb 08 Python
用Python识别人脸,人种等各种信息
Jul 15 Python
python中栈的原理及实现方法示例
Nov 27 Python
Pycharm debug调试时带参数过程解析
Feb 03 Python
pytorch之Resize()函数具体使用详解
Feb 27 Python
Django Admin设置应用程序及模型顺序方法详解
Apr 01 Python
基于python连接oracle导并出数据文件
Apr 28 Python
matlab、python中矩阵的互相导入导出方式
Jun 01 Python
python+selenium 简易地疫情信息自动打卡签到功能的实现代码
Aug 22 Python
如何使用Python对NetCDF数据做空间相关分析
Apr 21 Python
python实现sm2和sm4国密(国家商用密码)算法的示例
Sep 26 #Python
Python爬取股票信息,并可视化数据的示例
Sep 26 #Python
如何利用python发送邮件
Sep 26 #Python
Python 测试框架unittest和pytest的优劣
Sep 26 #Python
浅析python函数式编程
Sep 26 #Python
python用Configobj模块读取配置文件
Sep 26 #Python
Python内存泄漏和内存溢出的解决方案
Sep 26 #Python
You might like
PHP生成sitemap.xml地图函数
2013/11/13 PHP
推荐几个开源的微信开发项目
2014/12/28 PHP
php输入数据统一类实例
2015/02/23 PHP
PHP实现的简单操作SQLite数据库类与用法示例
2017/06/19 PHP
javascript 节点遍历函数
2010/03/28 Javascript
使用jquery的ajax需要注意的地方dataType的设置
2013/08/12 Javascript
jquery select 设置默认选中的示例代码
2014/02/07 Javascript
Javascript 绘制 sin 曲线过程附图
2014/08/21 Javascript
JavaScript插件化开发教程 (二)
2015/01/27 Javascript
JS实现保留n位小数的四舍五入问题示例
2016/08/03 Javascript
详解nodeJS中读写文件方法的区别
2017/03/06 NodeJs
如何使用vuejs实现更好的Form validation?
2017/04/07 Javascript
JS和Canvas实现图片的预览压缩和上传功能
2018/03/30 Javascript
编写更好的JavaScript条件式和匹配条件的技巧(小结)
2019/06/27 Javascript
[04:03]2014DOTA2西雅图国际邀请赛 LGD战队巡礼
2014/07/07 DOTA
[01:11:28]DOTA2-DPC中国联赛定级赛 RNG vs Phoenix BO3第一场 1月8日
2021/03/11 DOTA
Python脚本处理空格的方法
2016/08/08 Python
用yum安装MySQLdb模块的步骤方法
2016/12/15 Python
Scrapy基于selenium结合爬取淘宝的实例讲解
2018/06/13 Python
python logging重复记录日志问题的解决方法
2018/07/12 Python
Django restframework 源码分析之认证详解
2019/02/22 Python
Python 装饰器原理、定义与用法详解
2019/12/07 Python
PyTorch中的Variable变量详解
2020/01/07 Python
Python GUI库PyQt5图形和特效样式QSS介绍
2020/02/25 Python
Python列表去重复项的N种方法(实例代码)
2020/05/12 Python
浅谈django不使用restframework自定义接口与使用的区别
2020/07/15 Python
CSS3旋转——彩色扇子兼容firefox浏览器
2013/06/04 HTML / CSS
英国家庭珠宝商:T. H. Baker
2018/02/08 全球购物
军用级手机壳,专为冒险而建:Zizo Wireless
2019/08/07 全球购物
什么是属性访问器
2015/10/26 面试题
函授毕业生自我鉴定
2013/11/06 职场文书
信用卡逾期证明示例
2014/09/13 职场文书
离职信范本
2015/06/23 职场文书
Pytorch中的学习率衰减及其用法详解
2021/06/05 Python
Netty分布式客户端接入流程初始化源码分析
2022/03/25 Java/Android
Springboot集成kafka高级应用实战分享
2022/08/14 Java/Android