机器学习之聚类分析(48页).ppt

1、聚类分析,Clustering Analysis,主讲人：吕朝晖西北大学智能信息处理实验室,目录,什么是聚类距离度量方法几种常见的聚类方法练习,概述,监督学习（supervised learning）无监督学习（unsupervised learning）半监督学习（Semi-Supervised Learning）,概述,从给定的训练数据集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果监督学习就是最常见的分类问题监督学习的目标往往是让计算机去学习我们已经创建好的分类模型最典型的算法是KNN和SVM,监督学习（supervised learning）,输入数据没有标记

2、，也没有确定的结果样本数据类别未知，需要根据样本间的相似性对样本集进行聚类非监督学习目标不是告诉计算机怎么做，而是让计算机自己去学习怎样做,非监督学习（unsupervised learning）,无监督学习的方法分为两大类：基于概率密度函数估计的直接方法基于样本间相似性度量的简介聚类方法：设法定出不同类别的核心或初始内核，然后依据样本与核心之间的相似性度量将样本聚集成不同的类别,非监督学习（unsupervised learning）,“物以聚类，人以群分”所谓聚类，就是将相似的事物聚集在一 起，而将不相似的事物划分到不同的类别的过程，是数据分析之中十分重要的一种手段。,什么是聚类？,在图像

3、分析中，人们希望将图像分割成具有类似性质的区域在文本处理中，人们希望发现具有相同主题的文本子集在顾客行为分析中，人们希望发现消费方式类似的顾客群，以便制订有针对性的客户管理方式和提高营销效率这些情况都可以在适当的条件下归为聚类分析,什么是聚类？,聚类就是将数据集中的样本划分为若干个通常不相交的子集，每个子集成为一个“簇”（Cluster）。,聚类分析（Clustering Analysis）,聚类的相似性度量,1.欧氏距离(Euclidean Distance)欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。两个n维向量a(x11,x12,x1n)与 b(x21,x22

4、,x2n)间的欧氏距离：,聚类的相似性度量,2.曼哈顿距离(Manhattan Distance)想象你在曼哈顿要从一个十字路口开车到另外一个十字路口，驾驶距离是两点间的直线距离吗？显然不是，除非你能穿越大楼。实际驾驶距离就是这个“曼哈顿距离”，也称为城市街区距离(City Block distance)。,两个n维向量a(x11,x12,x1n)与 b(x21,x22,x2n)间的曼哈顿距离,聚类的相似性度量,3.切比雪夫距离(Chebyshev Distance)国际象棋中国王走一步能够移动到相邻的8个方格中的任意一个。那么国王从格子(x1,y1)走到格子(x2,y2)最少需要多少步？你会

5、发现最少步数总是max(|x2-x1|,|y2-y1|)步。有一种类似的一种距离度量方法叫切比雪夫距离。,两个n维向量a(x11,x12,x1n)与 b(x21,x22,x2n)间的切比雪夫距离,聚类的相似性度量,4.马氏距离(Mahalanobis Distance)有M个样本向量X1Xm，协方差矩阵记为S，均值记为向量，则其中样本向量X到u的马氏距离表示为：5.汉明距离(Hamming Distance)两个等长字符串s1与s2之间的汉明距离定义为将其中一个变为另外一个所需要作的最小替换次数。例如字符串“1111”与“1001”之间的汉明距离为2。,要考虑所选择的距离公式在实际应用中有明确

6、的意义。如欧氏距离就有非常明确的空间距离概念。马氏距离有消除量纲影响的作用。,距离选择的原则,层次聚类,凝聚方法（自底向上）：一开始将每个对象作为单独的一组，然后根据同类相近，异类相异的原则，合并对象，直到所有的组合并成一个，或达到一个终止条件为止。分裂方法（自顶向下）：一开始将所有的对象置于一类，在迭代的每一步中，一个类不断地分为更小的类，直到每个对象在单独的一个类中，或达到一个终止条件。,层次聚类,特点：类的个数不需事先定好需确定距离矩阵运算量要大，适用于处理小样本数据,层次聚类最短距离法,两个类中距离最近的两个样本的距离作为这两个集合的距离,将类Gp与Gq合并为Gr，则Gr与任意一类Gk间的距离为：,层次聚类最短距离法,最短距离法进行聚类分析的步骤如下：（1）定义样品之间距离，计算样品的两两距离，得一距离阵记为D(0)，开始每个样品自成一类，显然这时Dij=dij。（2）找出距离最小元素，设为Dpq，则将Gp和Gq合并成一个新类，记为Gr，即Gr=Gp，Gq。（3）计算新类与其它类的距离。（4）重复（2）、（3）两步，直到所有元素。并成一类为止。如果某一步距离最小的元素不止一个，