python实现层次聚类的方法


Posted in Python onNovember 01, 2021

层次聚类算法

顾名思义,层次聚类就是一层一层的进行聚类,可以由上向下把大的类别(cluster)分割,叫作分裂法;也可以由下向上对小的类别进行聚合,叫作凝聚法;但是一般用的比较多的是由下向上的凝聚方法。

分裂法:

分裂法指的是初始时将所有的样本归为一个类簇,然后依据某种准则进行逐渐的分裂,直到达到某种条件或者达到设定的分类数目。用算法描述:
输入:样本集合D,聚类数目或者某个条件(一般是样本距离的阈值,这样就可不设置聚类数目)
输出:聚类结果

1.将样本集中的所有的样本归为一个类簇;
repeat:
    2.在同一个类簇(计为c)中计算两两样本之间的距离,找出距离最远的两个样本a,b;
    3.将样本a,b分配到不同的类簇c1和c2中;
    4.计算原类簇(c)中剩余的其他样本点和a,b的距离,若是dis(a)<dis(b),则将样本点归到c1中,否则归到c2中;
util: 达到聚类的数目或者达到设定的条件

凝聚法:

凝聚法指的是初始时将每个样本点当做一个类簇,所以原始类簇的大小等于样本点的个数,然后依据某种准则合并这些初始的类簇,直到达到某种条件或者达到设定的分类数目。用算法描述:
输入:样本集合D,聚类数目或者某个条件(一般是样本距离的阈值,这样就可不设置聚类数目)
输出:聚类结果

 1.将样本集中的所有的样本点都当做一个独立的类簇;
   repeat:
        2.计算两两类簇之间的距离(后边会做介绍),找到距离最小的两个类簇c1和c2;
        3.合并类簇c1和c2为一个类簇;
   util: 达到聚类的数目或者达到设定的条件

例图:

python实现层次聚类的方法

欧式距离的计算公式

python实现层次聚类的方法

类簇间距离的计算方法有许多种:
(1)就是取两个类中距离最近的两个样本的距离作为这两个集合的距离,也就是说,最近两个样本之间的距离越小,这两个类之间的相似度就越大
(2)取两个集合中距离最远的两个点的距离作为两个集合的距离
(3)把两个集合中的点两两的距离全部放在一起求一个平均值,相对也能得到合适一点的结果。
e.g.下面是计算组合数据点(A,F)到(B,C)的距离,这里分别计算了(A,F)和(B,C)两两间距离的均值。

python实现层次聚类的方法

(4)取两两距离的中值,与取均值相比更加能够解除个别偏离样本对结果的干扰。
(5)求每个集合的中心点(就是将集合中的所有元素的对应维度相加然后再除以元素个数得到的一个向量),然后用中心点代替集合再去就集合间的距离

实现

接下来以世界银行样本数据集进行简单实现。该数据集以标准格式存储在名为WBClust2013.csv的CSV格式的文件中。其有80行数据和14个变量。数据来源

python实现层次聚类的方法

为了使得结果可视化更加方便,我将最后一栏人口数据删除了。并且在实现层次聚类之后加入PCA降维与原始结果进行对比。

from scipy.cluster.hierarchy import linkage, dendrogram, fcluster
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np


data = pd.read_csv('data/WBClust2013.csv')
data.pop('Pop')
# data.pop('RuralWater')
# data.pop('CellPhone')
# data.pop('LifeExp')
data = data[:20]
country = list(data['Country'])
data.pop('Country')

# 以下代码为仅使用层次聚类

plt.figure(figsize=(9, 7))
plt.title("original data")
mergings = linkage(data, method='average')
# print(mergings)
dendrogram(mergings, labels=country, leaf_rotation=45, leaf_font_size=8)
plt.show()
Z = linkage(data, method='average')
print(Z)
cluster_assignments = fcluster(Z, t=3.0, criterion='maxclust')
print(cluster_assignments)
for i in range(1, 4):
    print('cluster', i, ':')
    num = 1
    for index, value in enumerate(cluster_assignments):
        if value == i:
            if num % 5 == 0:
                print()
            num += 1
            print(country[index], end='  ')
    print()

# 以下代码为加入PCA进行对比
class myPCA():

    def __init__(self, X, d=2):
        self.X = X
        self.d = d

    def mean_center(self, data):
        """
        去中心化
        :param data: data sets
        :return:
        """
        n, m = data.shape
        for i in range(m):
            aver = np.sum(self.X[:, i])/n
            x = np.tile(aver, (1, n))
            self.X[:, i] = self.X[:, i]-x

    def runPCA(self):

        # 计算协方差矩阵,得到特征值,特征向量
        S = np.dot(self.X.T, self.X)
        S_val, S_victors = np.linalg.eig(S)
        index = np.argsort(-S_val)[0:self.d]
        Y = S_victors[:, index]
        # 得到输出样本集
        Y = np.dot(self.X, Y)
        return Y

# data_for_pca = np.array(data)
# pcaObject=myPCA(data_for_pca,d=2)
# pcaObject.mean_center(data_for_pca)
# res=pcaObject.runPCA()

# plt.figure(figsize=(9, 7))
# plt.title("after pca")
# mergings = linkage(res,method='average')
# print(mergings)
# dendrogram(mergings,labels=country,leaf_rotation=45,leaf_font_size=8)
# plt.show()
# Z = linkage(res, method='average')
# print(Z)
# cluster_assignments = fcluster(Z, t=3.0, criterion='maxclust')
# print(cluster_assignments)
# for i in range(1,4):
#     print('cluster', i, ':')
#     num = 1
#     for index, value in enumerate(cluster_assignments):
#         if value == i:
#             if num % 5 ==0:
#                 print()
#             num+=1
#             print(country[index],end='  ')
#     print()

两次分类结果都是一样的:

cluster 1 :
China  United States  Indonesia  Brazil  
Russian Federation  Japan  Mexico  Philippines  Vietnam  
Egypt, Arab Rep.  Germany  Turkey  Thailand  France  
United Kingdom  
cluster 2 :
India  Pakistan  Nigeria  Bangladesh  
cluster 3 :
Ethiopia

通过树状图对结果进行可视化

原始树状图:

python实现层次聚类的方法

PCA降维后的结果:

python实现层次聚类的方法

到此这篇关于python实现层次聚类的文章就介绍到这了,更多相关python层次聚类内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python正则表达式re模块详解
Jun 25 Python
python类和函数中使用静态变量的方法
May 09 Python
python检测是文件还是目录的方法
Jul 03 Python
Python实现删除列表中满足一定条件的元素示例
Jun 12 Python
Python实现的简单模板引擎功能示例
Sep 02 Python
详解python之heapq模块及排序操作
Apr 04 Python
Python中psutil的介绍与用法
May 02 Python
在Python中COM口的调用方法
Jul 03 Python
Python学习笔记之Break和Continue用法分析
Aug 14 Python
python实现将json多行数据传入到mysql中使用
Dec 31 Python
pycharm激活码有效到2020年11月底
Sep 18 Python
keras的三种模型实现与区别说明
Jul 03 Python
Python list列表删除元素的4种方法
Nov 01 #Python
Python面向对象编程之类的概念
Nov 01 #Python
python代码实现扫码关注公众号登录的实战
python编程实现清理微信重复缓存文件
Nov 01 #Python
python调用ffmpeg命令行工具便捷操作视频示例实现过程
Nov 01 #Python
Python字典的基础操作
Nov 01 #Python
Python集合的基础操作
Nov 01 #Python
You might like
无法在发生错误时创建会话,请检查 PHP 或网站服务器日志,并正确配置 PHP 安装最快的解决办法
2010/08/01 PHP
PHP判断远程图片是否存在的几种方法
2014/05/04 PHP
PHP内核探索:哈希表碰撞攻击原理
2015/07/31 PHP
php 数组随机取值的简单实例
2016/05/23 PHP
PHP读书笔记_运算符详解
2016/07/01 PHP
php 文件下载 出现下载文件内容乱码损坏的解决方法(推荐)
2016/11/16 PHP
php使用Jpgraph创建3D饼形图效果示例
2017/02/15 PHP
php+ajax实现异步上传文件或图片功能
2017/07/18 PHP
使用Laravel中的查询构造器实现增删改查功能
2019/09/03 PHP
Laravel 创建可以传递参数 Console服务的例子
2019/10/14 PHP
PHP7 windows支持
2021/03/09 PHP
JavaScript中的对象化编程
2008/01/16 Javascript
为javascript添加String.Format方法
2020/08/11 Javascript
16个最流行的JavaScript框架[推荐]
2011/05/29 Javascript
node.js使用require()函数加载模块
2014/11/26 Javascript
jQuery实现选项卡切换效果简单演示
2015/12/09 Javascript
jquery easyui如何实现格式化列
2017/07/30 jQuery
vue计算属性和监听器实例解析
2018/05/10 Javascript
JavaScript实用代码小技巧
2018/08/23 Javascript
浅析Proxy可以优化vue的数据监听机制问题及实现思路
2018/11/29 Javascript
详解vue中this.$emit()的返回值是什么
2019/04/07 Javascript
简单上手Python中装饰器的使用
2015/07/12 Python
Python django实现简单的邮件系统发送邮件功能
2017/07/14 Python
Tensorflow 实现分批量读取数据
2020/01/04 Python
Python-openCV读RGB通道图实例
2020/01/17 Python
基于pycharm实现批量修改变量名
2020/06/02 Python
python使用建议与技巧分享(二)
2020/08/17 Python
详解用 python-docx 创建浮动图片
2021/01/24 Python
用css3实现当鼠标移进去时当前亮其他变灰效果
2014/04/08 HTML / CSS
如何避免常见的6种HTML5错误用法
2017/11/06 HTML / CSS
高校十八大报告感想
2014/01/27 职场文书
学习作风建设心得体会
2014/10/22 职场文书
党员志愿者服务倡议书
2015/04/29 职场文书
美丽人生观后感
2015/06/03 职场文书
企业转让协议书(范文2篇)
2019/08/15 职场文书
使用CSS连接数据库的方式
2022/02/28 HTML / CSS