隐马尔科夫HMM在matlab实现的两个例子如何读懂，附HMM工具箱

杨利霞

+ p3 N+ N* R; C8 V隐马尔科夫HMM在matlab实现的两个例子如何读懂，附HMM工具箱
4 j* H- Y, `( v+ ~3 s# U: {( K4 N

% ①定义一个HMM并训练这个HMM。 / O0 r1 [: ~( _( @6 {( h9 ]8 E1 U( y% ②用一组观察值测试这个HMM，计算该组观察值域HMM的匹配度。 % 修改：旺齐齐 * M: r  t7 w) P1 }) Q* F1 a* g4 \% 修改部分为：添加 HMM2 模型。测试一个观察序列更加符合哪个哪个HMM模型。 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % O：观察状态数 . ^8 L( m) H- v; U; GO = 7; 9 x0 R, J# g3 `9 q9 u( Q, WO2 = 7; % Q：HMM状态数 Q = 5; ) r; K- _. m& q+ _0 I" E, v! mQ2 = 5; % g) ]. m# u$ S1 f. ]%训练的数据集,每一行数据就是一组训练的观察值 9 i6 Q9 F0 R, l0 g5 Rdata=[1,2,3,1,2,2,4,2,3,1,2,7,2; / s( ^9 o" N8 q# T      1,2,3,6,2,2,1,4,3,1,5,3,1; ! Q/ E! V, T- k! x1 F; G      1,2,3,1,2,5,1,2,4,1,2,3,2;       1,2,7,1,2,2,1,2,5,1,2,4,1; 0 O6 N% Z5 R# b& O9 {      5,2,3,3,5,2,1,2,3,1,2,3,6;       1,2,3,1,2,2,1,6,5,1,2,6,4;       5,2,3,4,4,2,1,2,3,1,2,5,6; . q0 l- d( C9 x, D0 Z      1,2,6,1,2,2,1,2,3,1,4,3,2; ! o% l4 N0 \6 ^( l; i* F, T/ y3 j      1,2,3,4,2,7,1,4,3,1,7,3,3; . h% U6 ]4 E* a      5,2,3,5,2,2,1,2,3,1,2,3,4;       5,2,4,1,2,2,5,2,3,7,1,6,2;]   data2 = [1,2,3,1,2,2,4,2,3,1,2,7,2;           1,2,3,6,2,2,1,4,3,1,5,3,1; 3 H, |: O# h$ t          1,2,3,1,2,5,1,2,4,1,2,3,2; $ K0 Y  n# G7 W1 t3 R6 n6 T6 n          1,2,7,1,2,2,1,2,5,1,2,4,1;           5,2,3,3,5,2,1,2,3,1,2,3,6;           1,2,3,1,2,2,1,6,5,1,2,6,4; * u% A! Q3 V9 [1 u2 t          5,2,3,4,4,2,1,2,3,1,2,5,6;           1,2,6,1,2,2,1,2,3,1,4,3,2;           1,2,3,4,2,7,1,4,3,1,7,3,3;           5,2,3,5,2,2,1,2,3,1,2,3,4; + h* E$ A) o6 B) |; O0 N          4,2,5,1,2,2,6,2,3,7,1,6,4;] % initial guess of parameters % 初始化参数 prior1 = normalise(rand(Q,1)); 6 t6 K; ]6 N7 e5 @7 Stransmat1 = mk_stochastic(rand(Q,Q)); obsmat1 = mk_stochastic(rand(Q,O)); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% , S" [: B2 U& q* e% 添加部分     prior3 = normalise(rand(Q2,1)); ) G# E! Y5 j/ `, T: C% Y    transmat3 = mk_stochastic(rand(Q2,Q2)); 2 y1 C8 E9 U2 s- x* N7 @6 \    obsmat3 = mk_stochastic(rand(Q2,O2)); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % improve guess of parameters using EM % 用data数据集训练参数矩阵形成新的HMM模型 [LL, prior2, transmat2, obsmat2] = dhmm_em(data, prior1, transmat1, obsmat1, 'max_iter', size(data,1)); % 训练后那行观察值与HMM匹配度 LL 7 N% p9 O( {" q7 m8 _( N( j4 b% 训练后的初始概率分布 prior2 6 a  ]- I. q& Z( S) y. F* t- ^3 u% 训练后的状态转移概率矩阵 , H. B* H. y( _4 V( i( c' mtransmat2 % 观察值概率矩阵 obsmat2 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分     [LL2, prior4, transmat4, obsmat4] = dhmm_em(data2, prior3, transmat3, obsmat3, 'max_iter', size(data2,1));     LL2     prior4     transmat4 * Q: U* h$ _& c2 ~, G& o5 e    obsmat4 7 {! u  q9 K- R+ \% P%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % use model to compute log likelihood % data1=[1,2,3,1,2,2,1,2,3,1,2,3,1] 7 p/ M" D: O  X, Wdata1 = [5,2,4,1,2,2,5,2,3,7,1,6,2] loglik = dhmm_logprob(data1, prior2, transmat2, obsmat2) 3 Z( o* f- W9 [1 S0 `% log lik is slightly different than LL(end), since it is computed after the final M step ' d$ V# h# J! @- \" C5 S3 L% loglik 代表着data和这个hmm(三参数为prior2, transmat2, obsmat2)的匹配值，越大说明越匹配，0为极大值。 % path为viterbi算法的结果，即最大概率path %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分 loglik2 = dhmm_logprob(data1, prior4, transmat4, obsmat4) %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% B = multinomial_prob(data1,obsmat2); 3 h  P& i' D6 Wpath = viterbi_path(prior2, transmat2, B) ' e+ \  k0 H9 A7 X& z- Nsave('sa.mat'); 5 y" E( t$ `% v& w9 P9 @% T1 z%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% ' o+ `/ n+ L* T$ ]% 添加部分 # N8 L* b8 d* d& V8 u7 j    B2 = multinomial_prob(data1,obsmat4); 6 K: _& V0 \: G2 S2 r" Q$ r    path2 = viterbi_path(prior4, transmat4, B2) , W8 ]1 b  J# I7 S% g: N  U- G2 @* P    save('sa2.mat'); 9 U( a& K. X& B& {" ^3 F    if loglik2 > loglik 5 u) q( `% X( y+ H+ h8 [        fuhe = 2 9 }* M! I+ r/ K' S    else         fuhe = 1     end    %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% ------ 运行结果 ------ data =      1     2     3     1     2     2     4     2     3     1     2     7     2 1 ?5 x+ J2 i( e2 A     1     2     3     6     2     2     1     4     3     1     5     3     1 + O9 t0 a6 \$ Y     1     2     3     1     2     5     1     2     4     1     2     3     2      1     2     7     1     2     2     1     2     5     1     2     4     1 1 J$ s% D0 V$ Z" D8 r% S$ z     5     2     3     3     5     2     1     2     3     1     2     3     6 4 z5 w# s" N4 E# [5 m     1     2     3     1     2     2     1     6     5     1     2     6     4 ) H( H# N/ ~$ p3 D     5     2     3     4     4     2     1     2     3     1     2     5     6      1     2     6     1     2     2     1     2     3     1     4     3     2 & b& q* P% p7 d$ |9 d' X. H: Z- H     1     2     3     4     2     7     1     4     3     1     7     3     3      5     2     3     5     2     2     1     2     3     1     2     3     4 3 C1 o, ~3 @# `9 I. j8 \; I     5     2     4     1     2     2     5     2     3     7     1     6     2 $ c4 i+ A% t8 o$ hdata2 =      1     2     3     1     2     2     4     2     3     1     2     7     2 0 p7 y* {: B3 f" }     1     2     3     6     2     2     1     4     3     1     5     3     1      1     2     3     1     2     5     1     2     4     1     2     3     2      1     2     7     1     2     2     1     2     5     1     2     4     1      5     2     3     3     5     2     1     2     3     1     2     3     6      1     2     3     1     2     2     1     6     5     1     2     6     4 0 a7 c& i9 x6 M' j  @     5     2     3     4     4     2     1     2     3     1     2     5     6 " `% w" g% N7 L5 r" Z7 U     1     2     6     1     2     2     1     2     3     1     4     3     2 5 N, M" R" b0 ~, K# V" |     1     2     3     4     2     7     1     4     3     1     7     3     3      5     2     3     5     2     2     1     2     3     1     2     3     4 " s" t' }7 H6 i  R     4     2     5     1     2     2     6     2     3     7     1     6     4 iteration 1, loglik = -327.100465 iteration 2, loglik = -238.259812 ! g4 F! K4 R: N# |# K* l9 i: R6 Eiteration 3, loglik = -232.962948 - h$ _$ V# h# W" fiteration 4, loglik = -223.323891 9 w2 I5 Z/ N9 R& U: \iteration 5, loglik = -207.630875 iteration 6, loglik = -191.012697 iteration 7, loglik = -178.611546 iteration 8, loglik = -171.524132 iteration 9, loglik = -168.626526 iteration 10, loglik = -167.387057 . B) q' R) q( ]7 }iteration 11, loglik = -166.689175 LL =   Columns 1 through 9 -327.1005 -238.2598 -232.9629 -223.3239 -207.6309 -191.0127 -178.6115 -171.5241 -168.6265   Columns 10 through 11 -167.3871 -166.6892 prior2 =     0.0000 ( X8 g( e+ G+ V- l    0.0000 ( j" @; t0 A. m1 E( {5 T0 f# ^# `* }    1.0000     0.0000     0.0000 2 @2 W) t. B8 @; K, a' ~  wtransmat2 =     0.0138    0.0089    0.7680    0.1060    0.1033     0.7811    0.0000    0.0199    0.0067    0.1923     0.0000    0.9936    0.0000    0.0064    0.0000     0.1686    0.2604    0.2242    0.3398    0.0070 ( p# w& y" y$ b    0.0053    0.0406    0.8350    0.1184    0.0007 obsmat2 =     0.0000    0.2351    0.5738    0.0256    0.1118    0.0186    0.0351     0.0000    0.8270    0.0000    0.0790    0.0256    0.0456    0.0228 5 w4 [; o% i- s  W& u' _    0.7514    0.0021    0.0011    0.0550    0.1472    0.0432    0.0000     0.0014    0.4208    0.0447    0.4366    0.0023    0.0887    0.0055 0 u* l, \/ ]2 @7 B* ~    0.0000    0.0784    0.3223    0.2014    0.0116    0.1525    0.2338 iteration 1, loglik = -277.738670 , D( f% N7 Z, uiteration 2, loglik = -242.163247 $ K7 K" I) V  T2 n( v, Z' Yiteration 3, loglik = -238.321971 % i9 P$ A: n- m3 L8 u2 Eiteration 4, loglik = -233.166746 ' {/ \& M7 b. L9 A! Qiteration 5, loglik = -225.682259 iteration 6, loglik = -214.560296 iteration 7, loglik = -201.182015 * M% }6 F0 _) J, q( A/ l- r, a- _- oiteration 8, loglik = -189.427453 iteration 9, loglik = -179.156352 iteration 10, loglik = -171.744096 ) X; k7 R! \" N" G% W3 h' _; ]iteration 11, loglik = -168.409063 LL2 =   Columns 1 through 9 -277.7387 -242.1632 -238.3220 -233.1667 -225.6823 -214.5603 -201.1820 -189.4275 -179.1564   Columns 10 through 11 -171.7441 -168.4091 prior4 =     0.0000     0.9982     0.0004 ! P9 d3 ^% [! ~5 @. B: N8 R    0.0014     0.0000 transmat4 =     0.0873    0.5277    0.2799    0.1007    0.0045     0.0002    0.0000    0.0005    0.0000    0.9994     0.0180    0.0000    0.0118    0.0011    0.9692 , Y) y, Z* x, B( \/ y6 T) \    0.0436    0.0226    0.0810    0.0219    0.8310 1 ~7 U6 p* S3 V7 q( N    0.9746    0.0056    0.0003    0.0195    0.0000 + \2 a# I# `/ y8 zobsmat4 =     0.0000    0.2012    0.5080    0.0580    0.1093    0.0465    0.0770     0.7939    0.0001    0.0000    0.0745    0.1277    0.0038    0.0000     0.4120    0.1044    0.0049    0.1736    0.0032    0.3017    0.0001 ) ?$ }9 i0 U% i& z5 _    0.4527    0.0622    0.0637    0.2568    0.0549    0.0295    0.0802 # q: I" u" P6 D, H; z    0.0000    0.8172    0.0000    0.0943    0.0270    0.0389    0.0225 data1 =      5     2     4     1     2     2     5     2     3     7     1     6     2 loglik =   -19.2351 : U1 D7 i0 J4 |2 H" f/ j5 ologlik2 =   -21.0715 & Q) |' E7 @; b8 _path =      3     2     5     3     2     1     3     2     1     5     3     2     1 0 I) ]2 x2 `! bpath2 =      2     5     1     2     5     1     2     5     1     1     2     5     1 fuhe =      1

- f/ e8 c4 ~/ I: ^
7 i* m2 Z6 z; W; |1 k8 n+ E, K. A1 R