隐马尔科夫HMM在matlab实现的两个例子如何读懂，附HMM工具箱

杨利霞

隐马尔科夫HMM在matlab实现的两个例子如何读懂，附HMM工具箱
3 l! S( ^/ x& \- c

% ①定义一个HMM并训练这个HMM。 % ②用一组观察值测试这个HMM，计算该组观察值域HMM的匹配度。 - r( |& e9 D+ Q% 修改：旺齐齐 / m9 l- u( w! W' C/ ]1 S% 修改部分为：添加 HMM2 模型。测试一个观察序列更加符合哪个哪个HMM模型。 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % O：观察状态数 O = 7; O2 = 7; % Q：HMM状态数 + s! @9 P- _& tQ = 5; Q2 = 5; ( d# k3 v( R0 M( K6 l) Q%训练的数据集,每一行数据就是一组训练的观察值 data=[1,2,3,1,2,2,4,2,3,1,2,7,2;       1,2,3,6,2,2,1,4,3,1,5,3,1;       1,2,3,1,2,5,1,2,4,1,2,3,2;       1,2,7,1,2,2,1,2,5,1,2,4,1;       5,2,3,3,5,2,1,2,3,1,2,3,6; 9 v7 m( @1 K& F' {. U      1,2,3,1,2,2,1,6,5,1,2,6,4; " y1 S- F+ j7 m" |      5,2,3,4,4,2,1,2,3,1,2,5,6; ( ^8 u- I5 [# _# C) G- h      1,2,6,1,2,2,1,2,3,1,4,3,2;       1,2,3,4,2,7,1,4,3,1,7,3,3; 9 t7 O$ P& T8 V. ~: a      5,2,3,5,2,2,1,2,3,1,2,3,4; 6 X% \+ j( P. e' O6 l) C' ^$ B      5,2,4,1,2,2,5,2,3,7,1,6,2;]   data2 = [1,2,3,1,2,2,4,2,3,1,2,7,2;           1,2,3,6,2,2,1,4,3,1,5,3,1;           1,2,3,1,2,5,1,2,4,1,2,3,2;           1,2,7,1,2,2,1,2,5,1,2,4,1;           5,2,3,3,5,2,1,2,3,1,2,3,6; 4 ]* ?/ Y8 X. ?5 [5 _  s8 t' L          1,2,3,1,2,2,1,6,5,1,2,6,4; 5 V& j5 A4 |" Z. ?' u4 p$ F          5,2,3,4,4,2,1,2,3,1,2,5,6; ' j9 V1 [% c# s/ ]5 z          1,2,6,1,2,2,1,2,3,1,4,3,2; 2 t, y, p9 a$ H2 C          1,2,3,4,2,7,1,4,3,1,7,3,3; 3 C2 d' _, [+ h" h( A          5,2,3,5,2,2,1,2,3,1,2,3,4;           4,2,5,1,2,2,6,2,3,7,1,6,4;] % initial guess of parameters % 初始化参数 prior1 = normalise(rand(Q,1)); 3 z. X1 N- F, Z& Y; d+ [1 R1 F4 Stransmat1 = mk_stochastic(rand(Q,Q)); 9 ^0 t1 y% g  O" p" _, Kobsmat1 = mk_stochastic(rand(Q,O)); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% # h' s- f0 O8 \% 添加部分 8 y1 D4 r  ~: i# y5 g; b& T; t' R    prior3 = normalise(rand(Q2,1));     transmat3 = mk_stochastic(rand(Q2,Q2));     obsmat3 = mk_stochastic(rand(Q2,O2)); # r" V: w& p# V0 B' x- [0 l( ~%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % improve guess of parameters using EM " `( v! U+ T0 k8 \6 K* ]4 K% 用data数据集训练参数矩阵形成新的HMM模型 4 \8 D* z& G/ M9 p[LL, prior2, transmat2, obsmat2] = dhmm_em(data, prior1, transmat1, obsmat1, 'max_iter', size(data,1)); % 训练后那行观察值与HMM匹配度 ' h" C" x/ s+ B, bLL " I+ U$ k- k, Y5 d% 训练后的初始概率分布 prior2 + _- C, X; f- |$ S8 |) F( d% U5 P% 训练后的状态转移概率矩阵 transmat2 8 K9 W0 z4 I" i# ^7 c7 _0 [% 观察值概率矩阵 obsmat2 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%   K0 [% \- ]* b' T# d9 j: l) g% 添加部分 1 R) ^  q* l) [- V% T+ w* w* u' ]    [LL2, prior4, transmat4, obsmat4] = dhmm_em(data2, prior3, transmat3, obsmat3, 'max_iter', size(data2,1)); 8 e; R: T" g4 {! D4 P    LL2     prior4     transmat4 8 D  E, ?% s$ x1 p, s) ~' c: U5 y  k    obsmat4 2 j$ Q& C2 [! X& g' Q' ~, h3 k( x; V%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % use model to compute log likelihood # C1 }; Q4 E2 {( S4 K. I3 E% data1=[1,2,3,1,2,2,1,2,3,1,2,3,1] - F: J; P0 w4 I1 r- wdata1 = [5,2,4,1,2,2,5,2,3,7,1,6,2] loglik = dhmm_logprob(data1, prior2, transmat2, obsmat2) % log lik is slightly different than LL(end), since it is computed after the final M step $ Q1 L/ Q! V: f+ d! D6 \  }% loglik 代表着data和这个hmm(三参数为prior2, transmat2, obsmat2)的匹配值，越大说明越匹配，0为极大值。 % path为viterbi算法的结果，即最大概率path %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分 loglik2 = dhmm_logprob(data1, prior4, transmat4, obsmat4) %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% ! }7 `4 S3 o+ a# ~$ [; t, ~- oB = multinomial_prob(data1,obsmat2); path = viterbi_path(prior2, transmat2, B) save('sa.mat'); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分 . @4 f- F$ P9 W# N    B2 = multinomial_prob(data1,obsmat4);     path2 = viterbi_path(prior4, transmat4, B2) ; V- v( A, N5 }+ q8 ~    save('sa2.mat');     if loglik2 > loglik         fuhe = 2 6 t' q/ I4 Y' Z! _# \$ ^    else , ^0 D) R4 C6 T; @( X$ p        fuhe = 1 9 G/ C) ~+ {1 @- N9 I" n  i    end    % G. ?1 L0 s  T* S%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% ------ 运行结果 ------ data =      1     2     3     1     2     2     4     2     3     1     2     7     2 , k# r9 q2 _3 u     1     2     3     6     2     2     1     4     3     1     5     3     1      1     2     3     1     2     5     1     2     4     1     2     3     2      1     2     7     1     2     2     1     2     5     1     2     4     1      5     2     3     3     5     2     1     2     3     1     2     3     6 5 P2 Z1 q6 x( k' }( e     1     2     3     1     2     2     1     6     5     1     2     6     4 $ y0 p- M/ @1 _4 R. z, G- m     5     2     3     4     4     2     1     2     3     1     2     5     6 * v& M/ B) w  G     1     2     6     1     2     2     1     2     3     1     4     3     2 " I9 u9 z9 S0 s6 K! A" [     1     2     3     4     2     7     1     4     3     1     7     3     3 / |0 M4 \  N  S) W( F* D0 h- D8 u     5     2     3     5     2     2     1     2     3     1     2     3     4 6 L- m4 ?) ~! P6 I6 F0 q     5     2     4     1     2     2     5     2     3     7     1     6     2 data2 =      1     2     3     1     2     2     4     2     3     1     2     7     2 / l: a" T7 U6 }( c2 l     1     2     3     6     2     2     1     4     3     1     5     3     1 , ~8 D, Z  n  Y. P) r     1     2     3     1     2     5     1     2     4     1     2     3     2 : v5 U1 @' k" ^* l/ l- }: H3 c3 p7 z     1     2     7     1     2     2     1     2     5     1     2     4     1 * w5 o# q: n8 E0 l* o4 _     5     2     3     3     5     2     1     2     3     1     2     3     6 % B  p" n( t2 ?8 F     1     2     3     1     2     2     1     6     5     1     2     6     4      5     2     3     4     4     2     1     2     3     1     2     5     6 ' [$ ^5 G& M* N+ H     1     2     6     1     2     2     1     2     3     1     4     3     2 $ u6 S5 ]1 V6 m% t& I$ ^1 U" y( f     1     2     3     4     2     7     1     4     3     1     7     3     3      5     2     3     5     2     2     1     2     3     1     2     3     4      4     2     5     1     2     2     6     2     3     7     1     6     4 iteration 1, loglik = -327.100465 9 ]& ]; e+ C/ W7 Z1 Citeration 2, loglik = -238.259812 iteration 3, loglik = -232.962948 iteration 4, loglik = -223.323891 - F+ l+ M3 g# h- `iteration 5, loglik = -207.630875 - d" s* Q! o; Hiteration 6, loglik = -191.012697 iteration 7, loglik = -178.611546 iteration 8, loglik = -171.524132 iteration 9, loglik = -168.626526 4 D" q, q+ \5 }+ D- Piteration 10, loglik = -167.387057 4 g2 z* i( V; l7 @2 J0 Eiteration 11, loglik = -166.689175 LL =   Columns 1 through 9 -327.1005 -238.2598 -232.9629 -223.3239 -207.6309 -191.0127 -178.6115 -171.5241 -168.6265   Columns 10 through 11 -167.3871 -166.6892 prior2 =     0.0000     0.0000 ) ^& ~2 Z& D# w& i    1.0000     0.0000     0.0000 ) M1 Q4 g' @! d, d$ N2 d/ o6 \transmat2 =     0.0138    0.0089    0.7680    0.1060    0.1033 . p# K: p1 d0 x( S    0.7811    0.0000    0.0199    0.0067    0.1923 1 a) D( M; `& @* I' M$ T  z9 |; C7 X    0.0000    0.9936    0.0000    0.0064    0.0000     0.1686    0.2604    0.2242    0.3398    0.0070     0.0053    0.0406    0.8350    0.1184    0.0007 obsmat2 =     0.0000    0.2351    0.5738    0.0256    0.1118    0.0186    0.0351 % S7 {! N! ^5 F. N    0.0000    0.8270    0.0000    0.0790    0.0256    0.0456    0.0228     0.7514    0.0021    0.0011    0.0550    0.1472    0.0432    0.0000 5 H; f; N9 q& Y. f( P( f5 r/ H    0.0014    0.4208    0.0447    0.4366    0.0023    0.0887    0.0055 " h$ \7 y6 R0 j' D    0.0000    0.0784    0.3223    0.2014    0.0116    0.1525    0.2338 iteration 1, loglik = -277.738670 ' ]2 ~3 B2 e/ P. c5 O( literation 2, loglik = -242.163247 . h2 ^& A) o- L9 i$ Q' riteration 3, loglik = -238.321971 iteration 4, loglik = -233.166746 iteration 5, loglik = -225.682259 % u) _/ V7 T7 P# qiteration 6, loglik = -214.560296 - L. J' t+ D: @iteration 7, loglik = -201.182015 iteration 8, loglik = -189.427453 iteration 9, loglik = -179.156352 ) i8 j$ u7 O2 ~7 R% ~9 fiteration 10, loglik = -171.744096 iteration 11, loglik = -168.409063 LL2 =   Columns 1 through 9 -277.7387 -242.1632 -238.3220 -233.1667 -225.6823 -214.5603 -201.1820 -189.4275 -179.1564   Columns 10 through 11 -171.7441 -168.4091 prior4 =     0.0000     0.9982     0.0004 - P7 ~$ B; d4 b# p9 f" X0 L  j    0.0014     0.0000 3 d" F7 u- Y* otransmat4 =     0.0873    0.5277    0.2799    0.1007    0.0045     0.0002    0.0000    0.0005    0.0000    0.9994     0.0180    0.0000    0.0118    0.0011    0.9692     0.0436    0.0226    0.0810    0.0219    0.8310 & c1 t$ e8 n) f0 n9 m    0.9746    0.0056    0.0003    0.0195    0.0000 $ f  v6 O, f, m% h& U) Vobsmat4 =     0.0000    0.2012    0.5080    0.0580    0.1093    0.0465    0.0770 # P: t1 I: o9 U: ~; v4 t& A5 v    0.7939    0.0001    0.0000    0.0745    0.1277    0.0038    0.0000 ' @; O/ U. t; A' f    0.4120    0.1044    0.0049    0.1736    0.0032    0.3017    0.0001     0.4527    0.0622    0.0637    0.2568    0.0549    0.0295    0.0802     0.0000    0.8172    0.0000    0.0943    0.0270    0.0389    0.0225 data1 =      5     2     4     1     2     2     5     2     3     7     1     6     2 loglik =   -19.2351 loglik2 =   -21.0715   ~7 T" e# w$ G/ y4 P3 I! Ipath =      3     2     5     3     2     1     3     2     1     5     3     2     1 2 o' ]& E. e( Z; Gpath2 =      2     5     1     2     5     1     2     5     1     1     2     5     1 fuhe =      1

9 N* a! S7 h$ z% o

. A1 H+ b0 k$ ^1 c