数学建模————统计问题之分类/聚类（二）

杨利霞

数学建模————统计问题之分类/聚类（二）
0 W7 \( M, W; i* s% R2 n& ]8 |  首先要弄明白分类和聚类的区别：
$ o' K) O& v. r$ U     分类（判别）：数据包含数据特征部分和样本标签部分，分类的目的就是判别新的数据特征到其应有的样本标签（类别）中。

$ ^4 ]* U2 ^% o; H- ^  {      比方说，现在告诉大家一个教室里面其中一半人每个人的性别（男女），现在需要大家将另一半人中每个人的性别判断出来，因此大家首先要做的的找到区分性别的特征，然后应用到另一半人身上，将其归类。
9 K2 B8 R- t! a& @5 E
     聚类：数据中只有数据特征，需要根据某一标准将其划分到不同的类中。
6 p& d# y4 p4 X8 D( T
     同样的，现在一个教室里面所有人都没什么标签，现在需要你将整个教室的人分为两类，那么你可以从性别、体型、兴趣爱好、位置等等角度去分析。
) ?# M/ F. Q* `7 `3 S9 n8 d! F


     可以看到，分类其实跟预测差不多，只不过输出是一维的，并且还是整数，所以可以用预测中的机器学习方法来解决分类问题。而聚类则不同，一般来说，聚类需要定义一种相似度或者距离，从而将相似或者距离近的样本归为一类，常见的有：kmeans算法、分层聚类、谱聚类等。

* O: a" J( m$ E. w5 A1 r     对于聚类来说，除了相似性的度量之外，还有一个比较重要的是终止条件，即需要聚成多少类，一般来说，基本都是在聚类之前就设定好需要聚成多少类，其中kmeans就是先设定几个类中心，然后将与类中心相近的数据归到那一类，然后不断更新类中心，直至所有数据聚类完毕，而分层聚类则是相反，先将所有数据各自为一类，然后将相似的类合并，直至达到k类为止...
      当然，也可以将终止条件改为当最小的距离大于某一阈值时，不再合并类（适用于分层聚类），除了这些算法，还有机器学习方法，如：自组织竞争网络（SOM），可以自行了解。

/ G" g4 E3 |6 \0 l; S* t       接下来我们以分层聚类为例进行讲解，这一部分例子来自于《数学建模算法与应用》，用以辅助说明。通常来说，分层聚类有两类，一类是从上到下的分裂（即现将所有个体看做一个类，然后利用规则一步步的分裂成多个类），另一类是从下到上的合并（即先将每个个体看作一个类，然后依据规则一步步合并为一个类）。因此分层聚类最终可以得到一个金字塔结构，每一层都有不同的类别数量，我们可以选取需要的类别数量。
---------------------
     例子：设有5个销售员w1,w2,w3,w4,w5,他们的销售业绩由二维变量（v1,v2）描述：


9 ]' o8 d$ Z  |8 j% X- `) P( b% P
     将5个人的两种数据看作他们的指标，首先，我们简单定义任意两组数据的距离为：
" S2 T; k" D1 B8 X3 R8 y
( J1 t" n7 E5 {: c; L: l2 O, ?( N

5 O2 p: M9 b, n% c

1 T0 `. I( o- V- H
4 J& I2 s$ o6 D
, ], W. s+ x/ M- M     与此相对应的，当有样本归为一类后，我们要计算类间距离就又得需要一个计算方式，我们定义任意两类间的距离为两类中每组数据距离的最小值：

# {- g) v  ~4 a$ ?6 k
! A+ y8 g: \* Q- e( k3 m" c
6 m* H) o3 X7 O- V/ r

' j& a- n/ e# i, J
' s" T6 ~: E$ ~* X% `# m7 }* w
     因此，可以得到任意两个销售员的数据距离矩阵：
' P  N  i4 g5 A6 [  y% Q

' x9 Z5 G1 H& A1 ]6 M9 G
( Z+ {4 A: v$ {/ n; h9 I! Q, cStep1 首先，最相近的两组样本是w1和w2,他们的距离为1，所以先将其聚为一类；

, Z6 k; T  r) ?% @Step2 然后，剩下的样本为{w1,w2},w3,w4,w5，我们发现除了距离1之外，最相似的是       w3,w4，他们的距离为2，所以将其聚为一类；
Step3 然后，剩下的样本为{w1,w2},{w3,w4},w5，我们发现除了距离1,2之外，最相似的   是{w1,w2}和{w3,w4}，他们的距离以 w2和w3的距离为准，距离为3，所以将这两类聚为一类；
Step4 最后，剩下的样本为{w1,w2,w3,w4},w5，只剩最后两类了，所以最后一类为   {w1,w2,w3,w4,w5}，类间距以w3/w4与w5的距离4为准。
7 v; }: j1 P7 M  l' u' f: i2 @3 M
# j& `8 a% o& A5 c: R$ a- F   代码如下：%% 编程实现clc;clear;close all
" O6 d& I( L: k6 i( Ldata = [1,0;1,1;3,2;4,3;2,5];%原始数据
[m, ~] = size(data);
d = mandist(data');%求任意两组数据的距离
3 a  s$ I* v6 R5 ad = tril(d);%取下三角区域数据
2 n' y0 b3 g4 }9 ynd = nonzeros(d);%去除0元素
, y2 C# d& N/ n" Q1 z( ind = unique(nd);%去除重复元素
for i = 1 : m-1
( X/ k+ O3 w) g# O- H" m# u1 e     nd_min = min(nd);
9 _& V. k! N" c! Z% C  l     [row, col] = find(d == nd_min);
     label = union(row,col);%提取相似的类别
  D! j+ [) E; c: R' v( P* x     label = reshape(label, 1, length(label));%将类别标签转化成行向量
     disp(['第',num2str(i),'次找到的相似样本为：',num2str(label)]);
- r1 ?8 H+ U. O* R, f! m2 }     nd(nd == nd_min) = [];%删除已归类的距离
     if isempty(nd)%如果没有可分的类就停止
2 B/ q* h, G9 T, w" l/ O         break
     end
8 B- t, r, S* p0 B end
% o- r' u& }9 e1 H8 V+ {%% 工具箱实现
clc;clear;close all
data = [1,0;1,1;3,2;4,3;2,5];%原始数据
. G, o2 P9 M. ?, ny = pdist(data,'cityblock');%计算任意两样本的绝对值距离
yc = squareform(y);%将距离转化成对称方阵
. \; L* J. s4 pz = linkage(y);%生成聚类树
5 u: l3 t' {8 F  n+ }[h, t] = dendrogram(z);%画出聚类树
" Z1 ~. c2 c$ X7 M4 G( ^6 s6 e( O, h( \n = 3;%最终需要聚成多少类
" g) }3 f( j; ^9 @6 aT = cluster(z, 'maxclust', n);%分析当分n类时，个样本的标签
+ _. v$ L  [& d. vfor i = 1 : n
) }' q7 }3 U+ W3 C    label = find(T == i);
    label = reshape(label, 1, length(label));
    disp(['第',num2str(i),'类有:',num2str(label)]);
+ }/ G+ ^+ Y# N- ^0 E+ c: B6 ?" Pend
    结果如下：

---------------------
. J' ]" D7 |0 [; E; h6 Z$ s; s
4 N: U! X, v$ {+ H) X3 A' N9 m
6 d, J- m& z8 L7 A

9 A0 r5 A# X" x: B, ~
* Y$ G3 `( A% I8 S6 U