- 在线时间
- 1630 小时
- 最后登录
- 2024-1-29
- 注册时间
- 2017-5-16
- 听众数
- 82
- 收听数
- 1
- 能力
- 120 分
- 体力
- 555287 点
- 威望
- 12 点
- 阅读权限
- 255
- 积分
- 171959
- 相册
- 1
- 日志
- 0
- 记录
- 0
- 帖子
- 5313
- 主题
- 5273
- 精华
- 18
- 分享
- 0
- 好友
- 163
TA的每日心情 | 开心 2021-8-11 17:59 |
---|
签到天数: 17 天 [LV.4]偶尔看看III 网络挑战赛参赛者 网络挑战赛参赛者 - 自我介绍
- 本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。
 群组: 2018美赛大象算法课程 群组: 2018美赛护航培训课程 群组: 2019年 数学中国站长建 群组: 2019年数据分析师课程 群组: 2018年大象老师国赛优 |
数学建模————统计问题之分类/聚类(二)
4 Q; G/ }" \! J, E3 M 首先要弄明白分类和聚类的区别:/ b0 N3 N; `- w: ?
分类(判别):数据包含数据特征部分和样本标签部分,分类的目的就是判别新的数据特征到其应有的样本标签(类别)中。
1 C7 C' j. j8 z
! L) [; L- D) ]" x* d* Y 比方说,现在告诉大家一个教室里面其中一半人每个人的性别(男女),现在需要大家将另一半人中每个人的性别判断出来,因此大家首先要做的的找到区分性别的特征,然后应用到另一半人身上,将其归类。
+ c, A1 t! o4 A4 t0 \& X3 @, l$ y
7 A) ?/ _/ ?9 k& y 聚类:数据中只有数据特征,需要根据某一标准将其划分到不同的类中。
# ]( Z, H: ]) F& z
% U/ Z4 f) x, p- }1 K2 H1 [ 同样的,现在一个教室里面所有人都没什么标签,现在需要你将整个教室的人分为两类,那么你可以从性别、体型、兴趣爱好、位置等等角度去分析。( v: N1 \* U- T/ ?9 W6 ~$ u' L; l( p
$ [, a8 g# @ m3 i9 @3 V
; E$ {- u/ _3 n& J$ t
; h: u* b3 K" L3 d/ f" r6 E" m( B 可以看到,分类其实跟预测差不多,只不过输出是一维的,并且还是整数,所以可以用预测中的机器学习方法来解决分类问题。而聚类则不同,一般来说,聚类需要定义一种相似度或者距离,从而将相似或者距离近的样本归为一类,常见的有:kmeans算法、分层聚类、谱聚类等。! |3 T& U+ a& J* Y8 h" C5 {4 {
9 C# F0 v3 O2 Z/ @/ z; C 对于聚类来说,除了相似性的度量之外,还有一个比较重要的是终止条件,即需要聚成多少类,一般来说,基本都是在聚类之前就设定好需要聚成多少类,其中kmeans就是先设定几个类中心,然后将与类中心相近的数据归到那一类,然后不断更新类中心,直至所有数据聚类完毕,而分层聚类则是相反,先将所有数据各自为一类,然后将相似的类合并,直至达到k类为止...
* h. K% V" H: w0 v& q# j 当然,也可以将终止条件改为当最小的距离大于某一阈值时,不再合并类(适用于分层聚类),除了这些算法,还有机器学习方法,如:自组织竞争网络(SOM),可以自行了解。& w( ^6 N3 |3 Q2 O
$ u$ B: k( o" _3 ?7 T4 V
接下来我们以分层聚类为例进行讲解,这一部分例子来自于《数学建模算法与应用》,用以辅助说明。通常来说,分层聚类有两类,一类是从上到下的分裂(即现将所有个体看做一个类,然后利用规则一步步的分裂成多个类),另一类是从下到上的合并(即先将每个个体看作一个类,然后依据规则一步步合并为一个类)。因此分层聚类最终可以得到一个金字塔结构,每一层都有不同的类别数量,我们可以选取需要的类别数量。+ |( K7 I) V. F3 r* I
--------------------- % f0 W) \" k5 G6 B6 H
例子:设有5个销售员w1,w2,w3,w4,w5,他们的销售业绩由二维变量(v1,v2)描述:
" X% |$ \/ {9 N' E; G" ^" X
6 Y7 X- }: [8 u4 f( C$ t7 k" F+ g. x( \% X6 @5 H
+ [7 W% g- B* p6 u2 k 将5个人的两种数据看作他们的指标,首先,我们简单定义任意两组数据的距离为:
2 j# s) z' _$ o9 } o
/ q3 h' [. |) d8 Y/ v+ l
8 Q8 t& m A0 b6 z- o/ {
p# s+ d1 \% s* k5 Y+ q" ^8 ~! ` q1 d
# x+ \/ e6 R& ~- M' ?' y/ s$ w% o. s% @7 b! ?3 \
# ?2 y# P7 R" T% {
与此相对应的,当有样本归为一类后,我们要计算类间距离就又得需要一个计算方式,我们定义任意两类间的距离为两类中每组数据距离的最小值:
- \+ k" x! Y/ ?, |( C7 N
& \* j" Q+ a4 E/ C7 m Y8 H6 i% ~! M! Z6 j) K, ?, Y7 D
9 H* p0 T7 a; ~) ]1 E- d+ A
) Q# u1 {9 _# \! n
A9 e2 v0 ]% c, _# k! V b$ M/ s4 m
# I# _* A, C' j
因此,可以得到任意两个销售员的数据距离矩阵:! U' v. C- t- h. p4 k
/ [. l( m3 r4 j- i0 a' ]* b4 M* B, T
7 j5 }% [7 K8 |5 t
& x; P" \0 V X. M) Y4 KStep1 首先,最相近的两组样本是w1和w2,他们的距离为1,所以先将其聚为一类;% z! v; R) Y0 j5 D+ E1 l
A' f2 W, \/ b6 \/ o
Step2 然后,剩下的样本为{w1,w2},w3,w4,w5,我们发现除了距离1之外,最相似的是 w3,w4,他们的距离为2,所以将其聚为一类; Q0 R1 X; X# Q- }( } z5 {$ u
Step3 然后,剩下的样本为{w1,w2},{w3,w4},w5,我们发现除了距离1,2之外,最相似的 是{w1,w2}和{w3,w4},他们的距离以 w2和w3的距离为准,距离为3,所以将这两类聚为一类;
( v( K# {9 H3 N0 hStep4 最后,剩下的样本为{w1,w2,w3,w4},w5,只剩最后两类了,所以最后一类为 {w1,w2,w3,w4,w5},类间距以w3/w4与w5的距离4为准。" d/ I# U% x" f; a0 K$ m# ^
/ `5 `( V1 I% `( \8 k
代码如下:%% 编程实现clc;clear;close all, \/ Z4 F: N- @$ M$ V7 z$ t6 c( D
data = [1,0;1,1;3,2;4,3;2,5];%原始数据9 d6 W) f( r9 Y" S/ U1 W
[m, ~] = size(data);
7 z* z; R! v/ w& |d = mandist(data');%求任意两组数据的距离
% z& I; R) ~5 R7 b# _( N5 xd = tril(d);%取下三角区域数据7 x/ T/ o7 R9 y) A0 M
nd = nonzeros(d);%去除0元素
( ? k6 f. G( K ?3 `# ond = unique(nd);%去除重复元素
* \, x% N, x& j; Y for i = 1 : m-1
7 Z5 @. @+ m6 ?; \( O nd_min = min(nd);
% D+ @* R. Q# J" s0 K* D6 v [row, col] = find(d == nd_min);
; o5 [7 [0 _; u/ L" C5 ^5 e& @ label = union(row,col);%提取相似的类别/ _8 b# L/ q- P7 h. g: E& k
label = reshape(label, 1, length(label));%将类别标签转化成行向量& @0 u3 G6 V" L9 s8 F S! Z7 m2 `
disp(['第',num2str(i),'次找到的相似样本为:',num2str(label)]);
( Q. `" b, \% o* _+ E nd(nd == nd_min) = [];%删除已归类的距离* L+ N0 ` g/ Q5 R; y" O# f5 E- \
if isempty(nd)%如果没有可分的类就停止
% S r) D# z, g+ F H' o( f break( v7 @& U6 o5 }7 `
end0 d; ]: T; Q1 \: a( g' F
end& P1 S i. g' \1 b% h, I! `2 l
%% 工具箱实现
# a+ t: i- v/ Eclc;clear;close all
7 r! ^- n$ K: u3 i8 R' Pdata = [1,0;1,1;3,2;4,3;2,5];%原始数据8 U( B# i- y0 {
y = pdist(data,'cityblock');%计算任意两样本的绝对值距离
4 j* x: Z+ K4 r% Z1 D7 d9 Hyc = squareform(y);%将距离转化成对称方阵5 j, R. _0 n4 u. s. i6 W o
z = linkage(y);%生成聚类树
8 y' r6 V" j* Z5 |, @3 w[h, t] = dendrogram(z);%画出聚类树& V7 J! \# @; j( D6 z' b
n = 3;%最终需要聚成多少类 s& u! K0 G5 ~/ b) H2 w
T = cluster(z, 'maxclust', n);%分析当分n类时,个样本的标签
. m" V- D$ a) O# v: U( }for i = 1 : n7 A' y1 {7 H- o9 g
label = find(T == i);9 Z. M: y/ r! L$ l' R
label = reshape(label, 1, length(label)); p1 x! y- a2 m( `2 _
disp(['第',num2str(i),'类有:',num2str(label)]);
6 i" x, F! w6 z9 Send! j9 a2 m6 O% L$ U: e4 U) s! l
结果如下:
/ C0 Q) P$ B+ L: k3 f * r' n. T! O% K0 } g8 w) y4 j; Q
--------------------- . `6 j% T5 w3 j2 b; [$ H
9 u4 V! ]9 {/ I3 S4 T
) R# `$ \9 J! R1 {+ s1 v
' k6 o4 @2 Q; l
/ q U- r+ {% l2 P% q. R$ `
4 z! v0 F3 H6 @$ ]: B |
zan
|