判别分析 （ distinguish analysis）(三)：Bayes 判别

浅夏110

Bayes 判别和 Bayes 估计的思想方法是一样的，即假定对研究的对象已经有一定的 认识，这种认识常用先验概率来描述，当我们取得一个样本后，就可以用样本来修正已 有的先验概率分布，得出后验概率分布，再通过后验概率分布进行各种统计推断。  

1．误判概率与误判损失
# p) g/ A- b& A2 V) R设有两个总体 X1和 X2 ，根据某一个判别规则，将实际上为 X1的个体判为 X2 或者将实际上为 X2 的个体判为 X1 的概率就是误判概率，一个好的判别规则应该使误判概率最小。除此之外还有一个误判损失问题或者说误判产生的花费（cost）问题，如把  X1的个体误判到 X2 的损失比 X2 的个体误判到 X1 严重得多，则人们在作前一种判断时就要特别谨慎。譬如在药品检验中把有毒的样品判为无毒后果比无毒样品判为有毒严重得多，因此一个好的判别规则还必须使误判损失最小。
: A6 o8 Y' n2 U0 g7 p


平均误判损失ECM
* M& T" T, I; O; _0 g1 W; M" O
" V" }) Z- `( W% Y4 B

. ^; J, H% E3 Q; T; |, w

+ u, }0 ]* I7 N" R8 H* D
. ^6 l; b1 \0 z# t5 b   一个合理的判别规则应使 ECM 达到极小。
" I! I1 n, ]+ F8 n1 b
7 i" A$ F/ S' W# P 2．两总体的 Bayes 判别



3 o) H% }2 ?% ]4 a" J2 E* R, t, g


/ H4 J% v* d3 [( k1 `1 p
- L& _/ U1 D6 j; K
# s; p2 g/ w( c4 M  Q4 ?. D
" w/ l' i& H3 X4 B, B: @% |
7 f( J3 N" b3 A+ y4 _! c: Q. x6 k Anderson 线性判别函数
, B( S" S  n5 e4 r: H+ N; r

5 s2 v' J' D/ \; {  I
8 F$ S' M0 L7 U3 a6 V
3 ?% a# U# D! T% @9 j8 t

例：建立 Anderson 线性判别函数


4 E4 X# W* W2 W
& I+ y5 Z  H* F3 {  o

( `$ }* w" u4 n6 O" R- l计算的 MATLAB 程序如下：
; s. L9 B9 U* m/ Z
clc,clear
) _- i8 x3 w- m* O3 m3 e7 Ta=[24.8 24.1 26.6 23.5 25.5 27.4
-2.0 -2.4 -3.0 -1.9 -2.1 -3.1]';
" Y1 q1 u5 @; q4 A) a, @b=[22.1 21.6 22.0 22.8 22.7 21.5 22.1 21.4
) M. a) E" h* F! [-0.7 -1.4 -0.8 -1.6 -1.5 -1.0 -1.2 -1.3]';
6 [8 u. O5 x$ y+ Rn1=6;n2=8;
3 H/ m; ^+ s1 K+ ]: k+ G0 umu1=mean(a);mu2=mean(b);
mu1=mu1',mu2=mu2'
s1=(n1-1)*cov(a),s2=(n2-1)*cov(b)
sigma2=(s1+s2)/(n1+n2-2)
beta=log(8/6)
syms x1 x2
* A( `8 F5 D6 I* R# N) Jx=[x1;x2];
4 x8 D/ }7 b0 n# [2 {  }. Zwx=(x-0.5*(mu1+mu2)).'*inv(sigma2)*(mu1-mu2);
1 l6 b1 o& [- wdigits(6),wx=vpa(wx)
  B3 o. S$ j( E/ cahat=subs(wx,{x1,x2},{a(:,1),a(:,2)})
4 g) ?4 X. }; J$ s) ~7 H5 Kbhat=subs(wx,{x1,x2},{b(:,1),b(:,2)})
& q$ ~) t- d2 o
下面我们编写Σ1 ≠ Σ2 情形下的 MATLAB 程序：

clc,clear
p1=6/14;p2=8/14;
a=[24.8 24.1 26.6 23.5 25.5 27.4
-2.0 -2.4 -3.0 -1.9 -2.1 -3.1]';
* g7 _2 h3 ?8 C) L  J& r$ {6 U1 ^b=[22.1 21.6 22.0 22.8 22.7 21.5 22.1 21.4
# [% R9 X7 w- k( Q7 W) ^" F4 f-0.7 -1.4 -0.8 -1.6 -1.5 -1.0 -1.2 -1.3]';
. D# `5 u, }. s) Cn1=6;n2=8;
4 g2 R! c' U+ M# x! Jmu1=mean(a);mu2=mean(b);
- M( g8 ~' B8 [* ?- |9 e) pmu1=mu1',mu2=mu2'
cov1=cov(a),cov2=cov(b)
6 b0 p+ P  J+ \6 Yk=log(p2/p1)+0.5*log(det(cov1)/det(cov2))+0.5*(mu1'*inv(cov1)*mu1-mu2'*inv(
! H- k5 ^1 l* P) a8 i9 Ncov2)*mu2)
/ _! U* {- }4 v! H" c6 J1 Ysyms x1 x2
x=[x1;x2];
$ a7 c! N. N; e" o8 owx=-0.5*x.'*(inv(cov1)-inv(cov2))*x+(mu1'*inv(cov1)-mu2'*inv(cov2))*x;
0 V$ q* s2 a; O/ {. Ydigits(6),wx=vpa(wx);
wx=simple(wx)
% s# |9 G8 g% m; {ahat=subs(wx,{x1,x2},{a(:,1),a(:,2)})
% V1 x$ q& H) y9 Ubhat=subs(wx,{x1,x2},{b(:,1),b(:,2)})
ahat>=k,bhat<k

% y5 f1 Y# D: E- L8 o" q分类正确率为 100％。

  ^6 x  U0 Z1 s  O) c& r4 x————————————————
8 U2 |/ Q4 t( {% H& F版权声明：本文为CSDN博主「wamg潇潇」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
- ]2 l* c! j, \原文链接：https://blog.csdn.net/qq_29831163/article/details/89607165
! {+ ?3 D5 L! H9 q$ b

& s0 n) a# j/ S* ]0 B; k