Kmeans均值聚类算法原理以及Python如何实现


Posted in Python onSeptember 26, 2020

第一步.随机生成质心

由于这是一个无监督学习的算法,因此我们首先在一个二维的坐标轴下随机给定一堆点,并随即给定两个质心,我们这个算法的目的就是将这一堆点根据它们自身的坐标特征分为两类,因此选取了两个质心,什么时候这一堆点能够根据这两个质心分为两堆就对了。如下图所示:

Kmeans均值聚类算法原理以及Python如何实现

第二步.根据距离进行分类

红色和蓝色的点代表了我们随机选取的质心。既然我们要让这一堆点的分为两堆,且让分好的每一堆点离其质心最近的话,我们首先先求出每一个点离质心的距离。假如说有一个点离红色的质心比例蓝色的质心更近,那么我们则将这个点归类为红色质心这一类,反之则归于蓝色质心这一类,如图所示:

Kmeans均值聚类算法原理以及Python如何实现

第三步.求出同一类点的均值,更新质心位置

在这一步当中,我们将同一类点的x\y的值进行平均,求出所有点之和的平均值,这个值(x,y)则是我们新的质心的位置,如图所示:

Kmeans均值聚类算法原理以及Python如何实现

我们可以看到,质心的位置已经发生了改变。

第四步.重复第二步,第三步

我们重复第二步和第三部的操作,不断求出点对质心的最小值之后进行分类,分类之后再更新质心的位置,直到得到迭代次数的上限(这个迭代次数是可以我们自己设定的,比如10000次),或者在做了n次迭代之后,最后两次迭代质心的位置已经保持不变,如下图所示:

Kmeans均值聚类算法原理以及Python如何实现

这个时候我们就将这一堆点按照它们的特征在没有监督的条件下,分成了两类了!!

五.如果面对多个特征确定的一个点的情况,又该如何实现聚类呢?

首先我们引入一个概念,那就是欧式距离,欧式距离是这样定义的,很容易理解:

Kmeans均值聚类算法原理以及Python如何实现

很显然,欧式距离d(xi,xj)等于我们每一个点的特征去减去另一个点在该维度下的距离的平方和再开根号,十分容易理解。

我们也可以用另一种方式来理解kmeans算法,那就是使某一个点的和另一些点的方差做到最小则实现了聚类,如下图所示:

Kmeans均值聚类算法原理以及Python如何实现

得解!

六:代码实现

我们现在使用Python语言来实现这个kmeans均值算法,首先我们先导入一个名叫make_blobs的数据集datasets,然后分别使用两个变量X,和y进行接收。X表示我们得到的数据,y表示这个数据应该被分类到的是哪一个类别当中,当然在我们实际的数据当中不会告诉我们哪个数据分在了哪一个类别当中,只会有X当中数据。在这里写代码的时候比较特殊,make_blobs库要求我们必须接受这两个参数,不能够只接受X这个数据参数,代码如下

plt.figure(figsize=(15,15))#规定我们绘图的大小为12*12

X, y=make_blobs(n_samples=1600,random_state=170)#一共取用1600个sample,同时状态设定为随机
#不知道这个状态随机是什么意思,只能查有关这个库的官方文档,同时这个数据集规定了是具备三个数据中心,也就是三个簇
y_pred=KMeans(n_clusters=3,random_state=170).fit_predict(X)

plt.subplot(221)#表示四个方格当中的第一格
plt.scatter(X[:,0],X[:,1],c=y_pred)#表示数据的第0个和第1个维度,同时数据的colour与predict的结果有关
plt.title("The result of the Kmeans")

plt.subplot(222)#表示四个方格当中的第一格
plt.scatter(X[:,0],X[:,1],c=y)
plt.title("The Real result of the Kmeans")

array=np.array([[0.60834549,-0.63667341],[-0.40887178,-0.85253229]])
lashen=np.dot(X,array)
y_pred=KMeans(n_clusters=3,random_state=170).fit_predict(lashen)

plt.subplot(223)#表示四个方格当中的第一格
plt.scatter(lashen[:,0],lashen[:,1],c=y_pred)#表示数据的第0个和第1个维度,同时数据的colour与predict的结果有关
plt.title("The Real result of the tranfored data")

我们在使用scatter函数进行绘图的时候会根据我们数据结的形状来编写相应的代码,这里我们所拿到的X数据集的行数是我们所指定的1600行,因为我们一共拿到了1600个数据,每一个数据仅有两个特征,也就是在XY轴当中的坐标,因此X是一个二维的ndarray对象(X是numpy当中的ndarray对象),我们可以打印出来看看这个数据的构成,如下图所示:

Kmeans均值聚类算法原理以及Python如何实现

同时我们也可以看到y也是ndarray对象,由于我们在采集数据的时候仅仅接受了3个簇,make_blobs默认接受的是三个簇(或称cluster)的缘故,因此最后y的值只有0,1,2这三种可能。我们通过matplotlib绘图,绘制出我们分类的结果图,也就是上述代码的运行结果如下:

Kmeans均值聚类算法原理以及Python如何实现

以上就是Kmeans均值聚类算法原理以及Python如何实现的详细内容,更多关于Kmeans均值聚类算法的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python XML RPC服务器端和客户端实例
Nov 22 Python
用virtualenv建立多个Python独立虚拟开发环境
Jul 06 Python
TensorFlow在MAC环境下的安装及环境搭建
Nov 14 Python
Python爬虫获取整个站点中的所有外部链接代码示例
Dec 26 Python
python使用openpyxl库修改excel表格数据方法
May 03 Python
Python基于SMTP协议实现发送邮件功能详解
Aug 14 Python
python学习--使用QQ邮箱发送邮件代码实例
Apr 16 Python
Python多进程入门、分布式进程数据共享实例详解
Jun 03 Python
python打印9宫格、25宫格等奇数格 满足横竖斜相加和相等
Jul 19 Python
python单向链表的基本实现与使用方法【定义、遍历、添加、删除、查找等】
Oct 24 Python
python zip()函数使用方法解析
Oct 31 Python
Tensorflow训练MNIST手写数字识别模型
Feb 13 Python
python实现sm2和sm4国密(国家商用密码)算法的示例
Sep 26 #Python
Python爬取股票信息,并可视化数据的示例
Sep 26 #Python
如何利用python发送邮件
Sep 26 #Python
Python 测试框架unittest和pytest的优劣
Sep 26 #Python
浅析python函数式编程
Sep 26 #Python
python用Configobj模块读取配置文件
Sep 26 #Python
Python内存泄漏和内存溢出的解决方案
Sep 26 #Python
You might like
html静态页面调用php文件的方法
2014/11/13 PHP
PHP Web木马扫描器代码分享
2015/09/06 PHP
mysql查找删除重复数据并只保留一条实例详解
2016/09/24 PHP
javascript 设计模式之单体模式 面向对象学习基础
2010/04/18 Javascript
禁止你的左键复制实用技巧
2013/01/04 Javascript
js通过地址栏给action传值(中文乱码全是问号)
2013/05/02 Javascript
javascript验证只能输入数字和一个小数点示例
2013/10/21 Javascript
javascript得到当前页的来路即前一页地址的方法
2014/02/18 Javascript
Javascript中Array用法实例分析
2015/06/13 Javascript
jQuery带时间的日期控件代码分享
2015/08/26 Javascript
浅析Node.js:DNS模块的使用
2016/11/23 Javascript
深入理解JavaScript中的尾调用(Tail Call)
2017/02/07 Javascript
jQuery插件echarts实现的多柱子柱状图效果示例【附demo源码下载】
2017/03/04 Javascript
bootstrap-table实现表头固定以及列固定的方法示例
2019/03/07 Javascript
微信小程序:数据存储、传值、取值详解
2019/05/07 Javascript
原生JS实现音乐播放器
2021/01/26 Javascript
python采集博客中上传的QQ截图文件
2014/07/18 Python
python清除字符串里非字母字符的方法
2015/07/02 Python
Python global全局变量函数详解
2018/09/18 Python
对python多线程中Lock()与RLock()锁详解
2019/01/11 Python
在Pycharm terminal中字体大小设置的方法
2019/01/16 Python
Python的scikit-image模块实例讲解
2020/12/30 Python
Radley英国官网:英国莱德利小狗包
2019/03/21 全球购物
Wallis官网:英国女装零售商
2020/01/21 全球购物
C#面试问题
2016/07/29 面试题
EJB的角色和三个对象
2015/12/31 面试题
前台接待岗位职责
2013/12/03 职场文书
幼儿园大班教学反思
2014/02/10 职场文书
治超工作实施方案
2014/05/04 职场文书
会议主持人开场白台词
2015/05/28 职场文书
邹越演讲观后感
2015/06/15 职场文书
单位收入证明范本
2015/06/18 职场文书
2016年春节问候语
2015/11/11 职场文书
《这片土地是神圣的》教学反思
2016/02/16 职场文书
html实现随机点名器的示例代码
2021/04/02 Javascript
自动在Windows中运行Python脚本并定时触发功能实现
2021/09/04 Python