Kmeans均值聚类算法原理以及Python如何实现


Posted in Python onSeptember 26, 2020

第一步.随机生成质心

由于这是一个无监督学习的算法,因此我们首先在一个二维的坐标轴下随机给定一堆点,并随即给定两个质心,我们这个算法的目的就是将这一堆点根据它们自身的坐标特征分为两类,因此选取了两个质心,什么时候这一堆点能够根据这两个质心分为两堆就对了。如下图所示:

Kmeans均值聚类算法原理以及Python如何实现

第二步.根据距离进行分类

红色和蓝色的点代表了我们随机选取的质心。既然我们要让这一堆点的分为两堆,且让分好的每一堆点离其质心最近的话,我们首先先求出每一个点离质心的距离。假如说有一个点离红色的质心比例蓝色的质心更近,那么我们则将这个点归类为红色质心这一类,反之则归于蓝色质心这一类,如图所示:

Kmeans均值聚类算法原理以及Python如何实现

第三步.求出同一类点的均值,更新质心位置

在这一步当中,我们将同一类点的x\y的值进行平均,求出所有点之和的平均值,这个值(x,y)则是我们新的质心的位置,如图所示:

Kmeans均值聚类算法原理以及Python如何实现

我们可以看到,质心的位置已经发生了改变。

第四步.重复第二步,第三步

我们重复第二步和第三部的操作,不断求出点对质心的最小值之后进行分类,分类之后再更新质心的位置,直到得到迭代次数的上限(这个迭代次数是可以我们自己设定的,比如10000次),或者在做了n次迭代之后,最后两次迭代质心的位置已经保持不变,如下图所示:

Kmeans均值聚类算法原理以及Python如何实现

这个时候我们就将这一堆点按照它们的特征在没有监督的条件下,分成了两类了!!

五.如果面对多个特征确定的一个点的情况,又该如何实现聚类呢?

首先我们引入一个概念,那就是欧式距离,欧式距离是这样定义的,很容易理解:

Kmeans均值聚类算法原理以及Python如何实现

很显然,欧式距离d(xi,xj)等于我们每一个点的特征去减去另一个点在该维度下的距离的平方和再开根号,十分容易理解。

我们也可以用另一种方式来理解kmeans算法,那就是使某一个点的和另一些点的方差做到最小则实现了聚类,如下图所示:

Kmeans均值聚类算法原理以及Python如何实现

得解!

六:代码实现

我们现在使用Python语言来实现这个kmeans均值算法,首先我们先导入一个名叫make_blobs的数据集datasets,然后分别使用两个变量X,和y进行接收。X表示我们得到的数据,y表示这个数据应该被分类到的是哪一个类别当中,当然在我们实际的数据当中不会告诉我们哪个数据分在了哪一个类别当中,只会有X当中数据。在这里写代码的时候比较特殊,make_blobs库要求我们必须接受这两个参数,不能够只接受X这个数据参数,代码如下

plt.figure(figsize=(15,15))#规定我们绘图的大小为12*12

X, y=make_blobs(n_samples=1600,random_state=170)#一共取用1600个sample,同时状态设定为随机
#不知道这个状态随机是什么意思,只能查有关这个库的官方文档,同时这个数据集规定了是具备三个数据中心,也就是三个簇
y_pred=KMeans(n_clusters=3,random_state=170).fit_predict(X)

plt.subplot(221)#表示四个方格当中的第一格
plt.scatter(X[:,0],X[:,1],c=y_pred)#表示数据的第0个和第1个维度,同时数据的colour与predict的结果有关
plt.title("The result of the Kmeans")

plt.subplot(222)#表示四个方格当中的第一格
plt.scatter(X[:,0],X[:,1],c=y)
plt.title("The Real result of the Kmeans")

array=np.array([[0.60834549,-0.63667341],[-0.40887178,-0.85253229]])
lashen=np.dot(X,array)
y_pred=KMeans(n_clusters=3,random_state=170).fit_predict(lashen)

plt.subplot(223)#表示四个方格当中的第一格
plt.scatter(lashen[:,0],lashen[:,1],c=y_pred)#表示数据的第0个和第1个维度,同时数据的colour与predict的结果有关
plt.title("The Real result of the tranfored data")

我们在使用scatter函数进行绘图的时候会根据我们数据结的形状来编写相应的代码,这里我们所拿到的X数据集的行数是我们所指定的1600行,因为我们一共拿到了1600个数据,每一个数据仅有两个特征,也就是在XY轴当中的坐标,因此X是一个二维的ndarray对象(X是numpy当中的ndarray对象),我们可以打印出来看看这个数据的构成,如下图所示:

Kmeans均值聚类算法原理以及Python如何实现

同时我们也可以看到y也是ndarray对象,由于我们在采集数据的时候仅仅接受了3个簇,make_blobs默认接受的是三个簇(或称cluster)的缘故,因此最后y的值只有0,1,2这三种可能。我们通过matplotlib绘图,绘制出我们分类的结果图,也就是上述代码的运行结果如下:

Kmeans均值聚类算法原理以及Python如何实现

以上就是Kmeans均值聚类算法原理以及Python如何实现的详细内容,更多关于Kmeans均值聚类算法的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python写的英文字符大小写转换代码示例
Mar 06 Python
python读取和保存视频文件
Apr 16 Python
python查看模块安装位置的方法
Oct 16 Python
Django REST framework视图的用法
Jan 16 Python
Python实现的爬取百度文库功能示例
Feb 16 Python
Flask配置Cors跨域的实现
Jul 12 Python
django框架模型层功能、组成与用法分析
Jul 30 Python
Python实现钉钉订阅消息功能
Jan 14 Python
Python configparser模块封装及构造配置文件
Aug 07 Python
Python函数递归调用实现原理实例解析
Aug 11 Python
Python实现京东抢秒杀功能
Jan 25 Python
Python实现聚类K-means算法详解
Jul 15 Python
python实现sm2和sm4国密(国家商用密码)算法的示例
Sep 26 #Python
Python爬取股票信息,并可视化数据的示例
Sep 26 #Python
如何利用python发送邮件
Sep 26 #Python
Python 测试框架unittest和pytest的优劣
Sep 26 #Python
浅析python函数式编程
Sep 26 #Python
python用Configobj模块读取配置文件
Sep 26 #Python
Python内存泄漏和内存溢出的解决方案
Sep 26 #Python
You might like
php关联数组快速排序的方法
2015/04/17 PHP
php实现微信企业号支付个人的方法详解
2017/07/26 PHP
PHP中使用jQuery+Ajax实现分页查询多功能操作(示例讲解)
2017/09/17 PHP
php中输出json对象的值(实现方法)
2018/03/07 PHP
掌握PHP垃圾回收机制详解
2019/03/13 PHP
PhpStorm 如何优雅的调试Hyperf的方法步骤
2019/11/24 PHP
PHP实现chrome表单请求数据转换为接口使用的json数据
2021/03/04 PHP
js中将URL中的参数提取出来作为对象的实现代码
2011/08/16 Javascript
jQuery层级选择器用法分析
2015/02/10 Javascript
js正则表达式匹配数字字母下划线等
2015/04/14 Javascript
window.onload使用指南
2015/09/13 Javascript
浅谈Nodejs观察者模式
2015/10/13 NodeJs
jquery拖动层效果插件用法实例分析(附demo源码)
2016/04/28 Javascript
javascript实现标签切换代码示例
2016/05/22 Javascript
javascript图片预览和上传(兼容IE)
2017/03/15 Javascript
Vue 单文件中的数据传递示例
2017/03/21 Javascript
JS获取鼠标位置距浏览器窗口距离的方法示例
2017/04/11 Javascript
React进阶学习之组件的解耦之道
2017/08/07 Javascript
mpvue性能优化实战技巧(小结)
2019/04/17 Javascript
vue cli4下环境变量和模式示例详解
2020/04/09 Javascript
原生js实现俄罗斯方块
2020/10/20 Javascript
python实现dnspod自动更新dns解析的方法
2014/02/14 Python
跟老齐学Python之让人欢喜让人忧的迭代
2014/10/02 Python
解决Python出现_warn_unsafe_extraction问题的方法
2016/03/24 Python
python模块之re正则表达式详解
2017/02/03 Python
用tensorflow搭建CNN的方法
2018/03/05 Python
Python读写docx文件的方法
2018/05/08 Python
python正则表达式实例代码
2020/03/03 Python
python里反向传播算法详解
2020/11/22 Python
美国豪华的多品牌精品店:The Webster
2019/07/31 全球购物
Java中实现多态的机制
2015/08/09 面试题
学习张林森心得体会
2014/09/10 职场文书
党的群众路线教育实践活动对照检查材料(四风)
2014/09/27 职场文书
教育实习指导教师评语
2014/12/31 职场文书
会计求职简历自我评价
2015/03/10 职场文书
nginx.conf配置文件结构小结
2022/04/08 Servers