python实现层次聚类的方法


Posted in Python onNovember 01, 2021

层次聚类算法

顾名思义,层次聚类就是一层一层的进行聚类,可以由上向下把大的类别(cluster)分割,叫作分裂法;也可以由下向上对小的类别进行聚合,叫作凝聚法;但是一般用的比较多的是由下向上的凝聚方法。

分裂法:

分裂法指的是初始时将所有的样本归为一个类簇,然后依据某种准则进行逐渐的分裂,直到达到某种条件或者达到设定的分类数目。用算法描述:
输入:样本集合D,聚类数目或者某个条件(一般是样本距离的阈值,这样就可不设置聚类数目)
输出:聚类结果

1.将样本集中的所有的样本归为一个类簇;
repeat:
    2.在同一个类簇(计为c)中计算两两样本之间的距离,找出距离最远的两个样本a,b;
    3.将样本a,b分配到不同的类簇c1和c2中;
    4.计算原类簇(c)中剩余的其他样本点和a,b的距离,若是dis(a)<dis(b),则将样本点归到c1中,否则归到c2中;
util: 达到聚类的数目或者达到设定的条件

凝聚法:

凝聚法指的是初始时将每个样本点当做一个类簇,所以原始类簇的大小等于样本点的个数,然后依据某种准则合并这些初始的类簇,直到达到某种条件或者达到设定的分类数目。用算法描述:
输入:样本集合D,聚类数目或者某个条件(一般是样本距离的阈值,这样就可不设置聚类数目)
输出:聚类结果

 1.将样本集中的所有的样本点都当做一个独立的类簇;
   repeat:
        2.计算两两类簇之间的距离(后边会做介绍),找到距离最小的两个类簇c1和c2;
        3.合并类簇c1和c2为一个类簇;
   util: 达到聚类的数目或者达到设定的条件

例图:

python实现层次聚类的方法

欧式距离的计算公式

python实现层次聚类的方法

类簇间距离的计算方法有许多种:
(1)就是取两个类中距离最近的两个样本的距离作为这两个集合的距离,也就是说,最近两个样本之间的距离越小,这两个类之间的相似度就越大
(2)取两个集合中距离最远的两个点的距离作为两个集合的距离
(3)把两个集合中的点两两的距离全部放在一起求一个平均值,相对也能得到合适一点的结果。
e.g.下面是计算组合数据点(A,F)到(B,C)的距离,这里分别计算了(A,F)和(B,C)两两间距离的均值。

python实现层次聚类的方法

(4)取两两距离的中值,与取均值相比更加能够解除个别偏离样本对结果的干扰。
(5)求每个集合的中心点(就是将集合中的所有元素的对应维度相加然后再除以元素个数得到的一个向量),然后用中心点代替集合再去就集合间的距离

实现

接下来以世界银行样本数据集进行简单实现。该数据集以标准格式存储在名为WBClust2013.csv的CSV格式的文件中。其有80行数据和14个变量。数据来源

python实现层次聚类的方法

为了使得结果可视化更加方便,我将最后一栏人口数据删除了。并且在实现层次聚类之后加入PCA降维与原始结果进行对比。

from scipy.cluster.hierarchy import linkage, dendrogram, fcluster
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np


data = pd.read_csv('data/WBClust2013.csv')
data.pop('Pop')
# data.pop('RuralWater')
# data.pop('CellPhone')
# data.pop('LifeExp')
data = data[:20]
country = list(data['Country'])
data.pop('Country')

# 以下代码为仅使用层次聚类

plt.figure(figsize=(9, 7))
plt.title("original data")
mergings = linkage(data, method='average')
# print(mergings)
dendrogram(mergings, labels=country, leaf_rotation=45, leaf_font_size=8)
plt.show()
Z = linkage(data, method='average')
print(Z)
cluster_assignments = fcluster(Z, t=3.0, criterion='maxclust')
print(cluster_assignments)
for i in range(1, 4):
    print('cluster', i, ':')
    num = 1
    for index, value in enumerate(cluster_assignments):
        if value == i:
            if num % 5 == 0:
                print()
            num += 1
            print(country[index], end='  ')
    print()

# 以下代码为加入PCA进行对比
class myPCA():

    def __init__(self, X, d=2):
        self.X = X
        self.d = d

    def mean_center(self, data):
        """
        去中心化
        :param data: data sets
        :return:
        """
        n, m = data.shape
        for i in range(m):
            aver = np.sum(self.X[:, i])/n
            x = np.tile(aver, (1, n))
            self.X[:, i] = self.X[:, i]-x

    def runPCA(self):

        # 计算协方差矩阵,得到特征值,特征向量
        S = np.dot(self.X.T, self.X)
        S_val, S_victors = np.linalg.eig(S)
        index = np.argsort(-S_val)[0:self.d]
        Y = S_victors[:, index]
        # 得到输出样本集
        Y = np.dot(self.X, Y)
        return Y

# data_for_pca = np.array(data)
# pcaObject=myPCA(data_for_pca,d=2)
# pcaObject.mean_center(data_for_pca)
# res=pcaObject.runPCA()

# plt.figure(figsize=(9, 7))
# plt.title("after pca")
# mergings = linkage(res,method='average')
# print(mergings)
# dendrogram(mergings,labels=country,leaf_rotation=45,leaf_font_size=8)
# plt.show()
# Z = linkage(res, method='average')
# print(Z)
# cluster_assignments = fcluster(Z, t=3.0, criterion='maxclust')
# print(cluster_assignments)
# for i in range(1,4):
#     print('cluster', i, ':')
#     num = 1
#     for index, value in enumerate(cluster_assignments):
#         if value == i:
#             if num % 5 ==0:
#                 print()
#             num+=1
#             print(country[index],end='  ')
#     print()

两次分类结果都是一样的:

cluster 1 :
China  United States  Indonesia  Brazil  
Russian Federation  Japan  Mexico  Philippines  Vietnam  
Egypt, Arab Rep.  Germany  Turkey  Thailand  France  
United Kingdom  
cluster 2 :
India  Pakistan  Nigeria  Bangladesh  
cluster 3 :
Ethiopia

通过树状图对结果进行可视化

原始树状图:

python实现层次聚类的方法

PCA降维后的结果:

python实现层次聚类的方法

到此这篇关于python实现层次聚类的文章就介绍到这了,更多相关python层次聚类内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python的设计模式编程入门指南
Apr 02 Python
通过python+selenium3实现浏览器刷简书文章阅读量
Dec 26 Python
使用Python实现windows下的抓包与解析
Jan 15 Python
详解python函数传参是传值还是传引用
Jan 16 Python
利用Python如何制作好玩的GIF动图详解
Jul 11 Python
python实现静态web服务器
Sep 03 Python
python 三元运算符使用解析
Sep 16 Python
Python 解决OPEN读文件报错 ,路径以及r的问题
Dec 19 Python
python 链接sqlserver 写接口实例
Mar 11 Python
详解pyinstaller生成exe的闪退问题解决方案
Jun 19 Python
用python绘制樱花树
Oct 09 Python
python实现对doc、txt、xls等文档的读写操作
Apr 02 Python
Python list列表删除元素的4种方法
Nov 01 #Python
Python面向对象编程之类的概念
Nov 01 #Python
python代码实现扫码关注公众号登录的实战
python编程实现清理微信重复缓存文件
Nov 01 #Python
python调用ffmpeg命令行工具便捷操作视频示例实现过程
Nov 01 #Python
Python字典的基础操作
Nov 01 #Python
Python集合的基础操作
Nov 01 #Python
You might like
编译php 5.2.14+fpm+memcached(具体操作详解)
2013/06/18 PHP
PHP之浮点数计算比较以及取整数不准确的解决办法
2015/07/29 PHP
PHP直接修改表内容DataGrid功能实现代码
2015/09/24 PHP
php版微信小店调用api示例代码
2016/11/12 PHP
php/JS实现的生成随机密码(验证码)功能示例
2019/06/06 PHP
thinkPHP3.2使用RBAC实现权限管理的实现
2019/08/27 PHP
PHP单文件上传原理及上传函数的封装操作示例
2019/09/02 PHP
php使用fputcsv实现大数据的导出操作详解
2020/02/27 PHP
js textarea自动增高并隐藏滚动条
2009/12/16 Javascript
JavaScript编写推箱子游戏
2015/07/07 Javascript
Sublime Text 3常用插件及安装方法
2015/12/16 Javascript
简单介绍jsonp 使用小结
2016/01/27 Javascript
微信小程序 wxapp内容组件 progress详细介绍
2016/10/31 Javascript
浅谈js函数三种定义方式 &amp; 四种调用方式 &amp; 调用顺序
2017/02/19 Javascript
vue2 中如何实现动态表单增删改查实例
2017/06/09 Javascript
JavaScript与Java正则表达式写法的区别介绍
2017/08/15 Javascript
angularJs利用$scope处理升降序的方法
2018/10/08 Javascript
移动端滑动切换组件封装 vue-swiper-router实例详解
2018/11/25 Javascript
JSON字符串操作移除空串更改key/value的介绍
2019/01/05 Javascript
vue treeselect获取当前选中项的label实例
2020/08/31 Javascript
如何基于jQuery实现五角星评分
2020/09/02 jQuery
[01:16:28]DOTA2-DPC中国联赛 正赛 iG vs Magma BO3 第二场 2月23日
2021/03/11 DOTA
python中的随机函数小结
2018/01/27 Python
python列表的增删改查实例代码
2018/01/30 Python
Django1.9 加载通过ImageField上传的图片方法
2018/05/25 Python
Python根据文件名批量转移图片的方法
2018/10/21 Python
屏蔽Django admin界面添加按钮的操作
2020/03/11 Python
CSS3实现鼠标悬停显示扩展内容
2016/08/24 HTML / CSS
在线吉他课程,学习如何弹吉他:Fender Play
2019/02/28 全球购物
Onzie官网:美国时尚瑜伽品牌
2019/08/21 全球购物
奢华的意大利皮革手袋:Bene Handbags
2019/10/29 全球购物
企业文化建设实施方案
2014/03/22 职场文书
《春雨》教学反思
2014/04/24 职场文书
技校毕业生自荐书
2014/05/23 职场文书
个人年底工作总结
2015/03/10 职场文书
应聘教师求职信范文
2015/03/20 职场文书