- 在线时间
- 1630 小时
- 最后登录
- 2024-1-29
- 注册时间
- 2017-5-16
- 听众数
- 82
- 收听数
- 1
- 能力
- 120 分
- 体力
- 563319 点
- 威望
- 12 点
- 阅读权限
- 255
- 积分
- 174219
- 相册
- 1
- 日志
- 0
- 记录
- 0
- 帖子
- 5313
- 主题
- 5273
- 精华
- 3
- 分享
- 0
- 好友
- 163
TA的每日心情 | 开心 2021-8-11 17:59 |
|---|
签到天数: 17 天 [LV.4]偶尔看看III 网络挑战赛参赛者 网络挑战赛参赛者 - 自我介绍
- 本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。
 群组: 2018美赛大象算法课程 群组: 2018美赛护航培训课程 群组: 2019年 数学中国站长建 群组: 2019年数据分析师课程 群组: 2018年大象老师国赛优 |
数学建模————统计问题之分类/聚类(二)0 ?7 T$ d& w0 Y: q* z$ J
首先要弄明白分类和聚类的区别:% O4 [5 K6 S! u7 x; P4 e# h
分类(判别):数据包含数据特征部分和样本标签部分,分类的目的就是判别新的数据特征到其应有的样本标签(类别)中。
+ _, t! \- D: e" V
2 }. H- p' s9 Y2 I3 ?. \/ R- g 比方说,现在告诉大家一个教室里面其中一半人每个人的性别(男女),现在需要大家将另一半人中每个人的性别判断出来,因此大家首先要做的的找到区分性别的特征,然后应用到另一半人身上,将其归类。2 Z' p0 ~# |. v Y
# w9 J# E1 V$ ]& B i' k
聚类:数据中只有数据特征,需要根据某一标准将其划分到不同的类中。) ^( I" N% [2 n" W, M
4 E. G$ R9 o2 J. N5 `3 w 同样的,现在一个教室里面所有人都没什么标签,现在需要你将整个教室的人分为两类,那么你可以从性别、体型、兴趣爱好、位置等等角度去分析。
+ e r a# U5 H& ?" R
5 f" r2 P. U0 V' o4 i
% b( E( b, W) d W% _' {( A: |" p2 f% p! p/ Y0 j8 [9 @( @/ q
可以看到,分类其实跟预测差不多,只不过输出是一维的,并且还是整数,所以可以用预测中的机器学习方法来解决分类问题。而聚类则不同,一般来说,聚类需要定义一种相似度或者距离,从而将相似或者距离近的样本归为一类,常见的有:kmeans算法、分层聚类、谱聚类等。
$ J n# a% W* h8 Q* a0 c2 f0 R/ Q' y' d
对于聚类来说,除了相似性的度量之外,还有一个比较重要的是终止条件,即需要聚成多少类,一般来说,基本都是在聚类之前就设定好需要聚成多少类,其中kmeans就是先设定几个类中心,然后将与类中心相近的数据归到那一类,然后不断更新类中心,直至所有数据聚类完毕,而分层聚类则是相反,先将所有数据各自为一类,然后将相似的类合并,直至达到k类为止...8 y* h7 S2 D( a) @# M+ \ d
当然,也可以将终止条件改为当最小的距离大于某一阈值时,不再合并类(适用于分层聚类),除了这些算法,还有机器学习方法,如:自组织竞争网络(SOM),可以自行了解。
* a7 o8 ^4 n! c! n3 L; Q6 C, ^ R; e: w3 V+ H$ T, ^
接下来我们以分层聚类为例进行讲解,这一部分例子来自于《数学建模算法与应用》,用以辅助说明。通常来说,分层聚类有两类,一类是从上到下的分裂(即现将所有个体看做一个类,然后利用规则一步步的分裂成多个类),另一类是从下到上的合并(即先将每个个体看作一个类,然后依据规则一步步合并为一个类)。因此分层聚类最终可以得到一个金字塔结构,每一层都有不同的类别数量,我们可以选取需要的类别数量。: W! o7 Y* |* t6 P
---------------------
& S" a4 o g8 E* z' ?9 t9 F 例子:设有5个销售员w1,w2,w3,w4,w5,他们的销售业绩由二维变量(v1,v2)描述:
+ s" b% ~! p7 Q( b: x! V' |3 {: B7 M* D$ J; G' H# \8 i+ f; G( S+ `7 M
* p: |, }; V% F4 C& @
0 p3 v8 A) K8 O$ s 将5个人的两种数据看作他们的指标,首先,我们简单定义任意两组数据的距离为:6 z$ @1 k& K7 B* B( B" \
: O* n- I0 x3 V7 G1 b1 ?# N- O& P) N( ~) R/ h* T! D
; X/ h' r% a/ M8 ^. e+ s4 @$ T
+ N( f4 c+ ?! i+ [0 M% ^ }( E( S, v1 {( |% k
4 K4 ]" I. b0 n6 @- }& a
: O0 w5 q: e3 g8 t C/ r 与此相对应的,当有样本归为一类后,我们要计算类间距离就又得需要一个计算方式,我们定义任意两类间的距离为两类中每组数据距离的最小值:5 f. }+ n X4 H6 y
' H6 p h* w! y* L
! p; A H/ p9 d# T1 ` {" b: H( Y/ S/ b: M2 G3 H
6 W5 m: W. ]* |5 ]% N8 o2 |' j% W4 `
6 C: F: D% c# Q2 B' f& N# k7 _# L$ a2 j9 U n* i
1 p5 b+ ~6 N" S3 {
因此,可以得到任意两个销售员的数据距离矩阵:( g- H: i" g4 z) |
" L7 b9 n# q9 K) X* W
8 s: C# H: S: p R; a
5 P, s u7 `) _! d5 B5 R" }6 T
Step1 首先,最相近的两组样本是w1和w2,他们的距离为1,所以先将其聚为一类;# j" G0 a- m- x7 p
R+ q$ G7 ^. J) y% MStep2 然后,剩下的样本为{w1,w2},w3,w4,w5,我们发现除了距离1之外,最相似的是 w3,w4,他们的距离为2,所以将其聚为一类;( p( H7 C. G' k& ^
Step3 然后,剩下的样本为{w1,w2},{w3,w4},w5,我们发现除了距离1,2之外,最相似的 是{w1,w2}和{w3,w4},他们的距离以 w2和w3的距离为准,距离为3,所以将这两类聚为一类; F9 Y0 Q4 Q( M; J ]) L
Step4 最后,剩下的样本为{w1,w2,w3,w4},w5,只剩最后两类了,所以最后一类为 {w1,w2,w3,w4,w5},类间距以w3/w4与w5的距离4为准。; ^$ e* g# ]' Q1 c% w
7 Z: |, c1 I% X6 i; ]4 u1 L 代码如下:%% 编程实现clc;clear;close all
) d- ?) P4 A! Ndata = [1,0;1,1;3,2;4,3;2,5];%原始数据; Q% w/ x. x7 I: {' a6 C$ e
[m, ~] = size(data);
, Z+ p$ L2 ? H9 K6 D' wd = mandist(data');%求任意两组数据的距离) M6 h' p8 m' J4 \
d = tril(d);%取下三角区域数据% e" N4 }" F! o
nd = nonzeros(d);%去除0元素
) V" G5 i7 z* @: n* d g9 {nd = unique(nd);%去除重复元素) M/ J/ C: l1 w
for i = 1 : m-1) q& s- A, B/ w0 }4 f! Q6 O: M* i
nd_min = min(nd);
9 T' N+ m' q6 t( }7 M k3 A [row, col] = find(d == nd_min);
G' [ {6 J1 l. U' t' m label = union(row,col);%提取相似的类别5 r5 j' t6 \4 v' q( A, `
label = reshape(label, 1, length(label));%将类别标签转化成行向量6 v$ i& Z7 |/ k7 s+ r
disp(['第',num2str(i),'次找到的相似样本为:',num2str(label)]);' _8 z# f6 i+ a$ S; [( L
nd(nd == nd_min) = [];%删除已归类的距离
; V* l# y# Z; U2 j: k* N3 I if isempty(nd)%如果没有可分的类就停止# M1 }$ @) i' _/ {
break
5 f5 y4 }* v/ D* K# X H% p end
$ b. m" c6 k9 H9 S( L end' C+ q( h- @1 Z. k0 d$ p, m
%% 工具箱实现
# d1 ^8 [( L; Y* _" J! oclc;clear;close all
) H v1 ?5 x/ U* R( A/ U4 edata = [1,0;1,1;3,2;4,3;2,5];%原始数据$ @! Y* B& w% v5 A8 |: L
y = pdist(data,'cityblock');%计算任意两样本的绝对值距离
( ~$ l+ Y& G+ j% L$ Fyc = squareform(y);%将距离转化成对称方阵
/ I+ _4 b( B9 C! A& t* sz = linkage(y);%生成聚类树' }- A' Z, E }1 R( C
[h, t] = dendrogram(z);%画出聚类树8 F3 x9 V8 A: |7 C5 R4 F4 ~
n = 3;%最终需要聚成多少类3 `7 x4 V1 y2 P, E/ C
T = cluster(z, 'maxclust', n);%分析当分n类时,个样本的标签: w/ V: i W" O' e/ V0 v
for i = 1 : n
- g5 E4 }+ T2 s% R label = find(T == i);. g% ?7 @# _ L* s* _
label = reshape(label, 1, length(label));4 j$ `8 V* n* R4 w6 a0 t
disp(['第',num2str(i),'类有:',num2str(label)]);
& d& p, D+ G3 Tend
, I- U8 c, r i f4 f 结果如下:! i+ a! H; b/ U$ `8 h* Y
![]()
5 Q! V r$ Z# M2 @---------------------
/ G6 ?0 r i1 |- P2 Q: c' w) v, p5 X7 Y! _1 O( z; I; X
) M" _4 U5 A" ]! J# N1 f+ ^; @
* F& x2 E0 N/ Q7 f2 S7 W; m( P- ~& s$ l" ?. H* d* Q8 o
# V9 m! d C! Q. O0 l7 P
|
zan
|