隐马尔科夫HMM在matlab实现的两个例子如何读懂，附HMM工具箱

杨利霞

, u1 c+ K2 [$ S0 v% Y隐马尔科夫HMM在matlab实现的两个例子如何读懂，附HMM工具箱
* u* h+ K6 ]: D5 l

% ①定义一个HMM并训练这个HMM。 % ②用一组观察值测试这个HMM，计算该组观察值域HMM的匹配度。 % 修改：旺齐齐 % 修改部分为：添加 HMM2 模型。测试一个观察序列更加符合哪个哪个HMM模型。 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % O：观察状态数 4 K: C# S" \& |1 B, YO = 7; O2 = 7; 8 X% S' c  v% J5 e& _' K% Q：HMM状态数 Q = 5; Q2 = 5; 1 Q1 Q+ S* B3 u# |3 a! J% v5 E3 w%训练的数据集,每一行数据就是一组训练的观察值 data=[1,2,3,1,2,2,4,2,3,1,2,7,2; ( V- i7 |* X: s9 ]: Q8 X5 @- _6 l      1,2,3,6,2,2,1,4,3,1,5,3,1;       1,2,3,1,2,5,1,2,4,1,2,3,2;       1,2,7,1,2,2,1,2,5,1,2,4,1; 6 X# }5 R+ @/ b$ G2 [      5,2,3,3,5,2,1,2,3,1,2,3,6; 8 [, @& `4 L/ ]2 y3 [      1,2,3,1,2,2,1,6,5,1,2,6,4;       5,2,3,4,4,2,1,2,3,1,2,5,6;       1,2,6,1,2,2,1,2,3,1,4,3,2;       1,2,3,4,2,7,1,4,3,1,7,3,3; 5 S' A( B) J& G( V, Y- S0 \1 h  q      5,2,3,5,2,2,1,2,3,1,2,3,4; 3 }# D, [  y; \6 `      5,2,4,1,2,2,5,2,3,7,1,6,2;] 8 P! B9 w4 d5 Y7 n! ^  data2 = [1,2,3,1,2,2,4,2,3,1,2,7,2; ) K4 \, y% \* |3 o  e$ P/ Q" k! Y          1,2,3,6,2,2,1,4,3,1,5,3,1; : c+ A( M. d. m9 B          1,2,3,1,2,5,1,2,4,1,2,3,2;   O2 }% V2 e. p5 A2 u* d0 {3 o2 B          1,2,7,1,2,2,1,2,5,1,2,4,1;           5,2,3,3,5,2,1,2,3,1,2,3,6; % V0 u+ H. M) a3 r7 K          1,2,3,1,2,2,1,6,5,1,2,6,4;           5,2,3,4,4,2,1,2,3,1,2,5,6;           1,2,6,1,2,2,1,2,3,1,4,3,2; 2 d! |8 j. A7 M* k2 v6 w& b          1,2,3,4,2,7,1,4,3,1,7,3,3; / K) f% n7 `) k. `5 @  B          5,2,3,5,2,2,1,2,3,1,2,3,4; % p& \4 s7 O4 w! }: \% A5 E          4,2,5,1,2,2,6,2,3,7,1,6,4;] % initial guess of parameters $ k: Q7 y) O4 K0 S% 初始化参数 $ V/ G& r3 f8 {7 Uprior1 = normalise(rand(Q,1)); 4 f  ~) b) b  t7 Rtransmat1 = mk_stochastic(rand(Q,Q)); 6 [7 r7 x; X" m8 G" z9 o' \obsmat1 = mk_stochastic(rand(Q,O)); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分 ( w& D' x+ ]8 a! X: P9 x0 X" c, p( w0 D    prior3 = normalise(rand(Q2,1)); $ U# `# w& i* S7 H3 f; Z% d    transmat3 = mk_stochastic(rand(Q2,Q2));     obsmat3 = mk_stochastic(rand(Q2,O2)); 1 C5 z3 C5 r* X* n+ {7 b' U%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % improve guess of parameters using EM % 用data数据集训练参数矩阵形成新的HMM模型 [LL, prior2, transmat2, obsmat2] = dhmm_em(data, prior1, transmat1, obsmat1, 'max_iter', size(data,1)); 6 \) E) ~1 d+ N: n% 训练后那行观察值与HMM匹配度 LL 6 d$ B% O$ p; D$ d5 s% 训练后的初始概率分布 prior2 % 训练后的状态转移概率矩阵 # |1 X- c- i! h" F' Ptransmat2 % 观察值概率矩阵 2 x; F/ ^: D# a$ F) c" Oobsmat2 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分     [LL2, prior4, transmat4, obsmat4] = dhmm_em(data2, prior3, transmat3, obsmat3, 'max_iter', size(data2,1));     LL2     prior4     transmat4     obsmat4 , B8 j. G) p3 a/ R) [%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % use model to compute log likelihood : P! w/ ?' p) t% data1=[1,2,3,1,2,2,1,2,3,1,2,3,1] data1 = [5,2,4,1,2,2,5,2,3,7,1,6,2] loglik = dhmm_logprob(data1, prior2, transmat2, obsmat2) ; B5 Y  z+ k( R% log lik is slightly different than LL(end), since it is computed after the final M step * \- _* ?0 l1 F; d. f/ W5 |% loglik 代表着data和这个hmm(三参数为prior2, transmat2, obsmat2)的匹配值，越大说明越匹配，0为极大值。 % path为viterbi算法的结果，即最大概率path %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分 , F. A$ ?: ], Iloglik2 = dhmm_logprob(data1, prior4, transmat4, obsmat4) %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% B = multinomial_prob(data1,obsmat2); 5 {5 A& Q6 q1 z8 C  D3 Opath = viterbi_path(prior2, transmat2, B) save('sa.mat'); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分 9 G, J/ {: e+ b, H& }" e+ F! T+ {    B2 = multinomial_prob(data1,obsmat4); 7 ~, j; w2 M, h( ^% j! T    path2 = viterbi_path(prior4, transmat4, B2)     save('sa2.mat'); ( j6 l+ W. M& }% n    if loglik2 > loglik         fuhe = 2 ( d$ d) v$ y; E    else         fuhe = 1     end    # v% t7 n0 G% }) l7 X) [1 Q%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% ------ 运行结果 ------ data =      1     2     3     1     2     2     4     2     3     1     2     7     2      1     2     3     6     2     2     1     4     3     1     5     3     1      1     2     3     1     2     5     1     2     4     1     2     3     2 1 B; r9 b  [+ w. J% E7 a5 }2 ^     1     2     7     1     2     2     1     2     5     1     2     4     1 8 a: W1 K+ @4 Z4 F& V     5     2     3     3     5     2     1     2     3     1     2     3     6 . |. P6 A2 K! w/ T1 @7 r     1     2     3     1     2     2     1     6     5     1     2     6     4      5     2     3     4     4     2     1     2     3     1     2     5     6 9 \2 \6 Z1 w: {     1     2     6     1     2     2     1     2     3     1     4     3     2      1     2     3     4     2     7     1     4     3     1     7     3     3 1 w+ [% ?+ j5 O2 v% e     5     2     3     5     2     2     1     2     3     1     2     3     4 $ t) a& V3 @" `7 D     5     2     4     1     2     2     5     2     3     7     1     6     2 ! B# }/ I* @% odata2 =      1     2     3     1     2     2     4     2     3     1     2     7     2 8 p' G5 ~- R7 Y; Z+ ?! N     1     2     3     6     2     2     1     4     3     1     5     3     1 & S8 f' c7 y" n3 q% }& Z) g     1     2     3     1     2     5     1     2     4     1     2     3     2      1     2     7     1     2     2     1     2     5     1     2     4     1   a4 {0 G* H' z$ I$ c  x$ U     5     2     3     3     5     2     1     2     3     1     2     3     6 ( A* @! M! e% q8 v8 M     1     2     3     1     2     2     1     6     5     1     2     6     4 ! k) p( v+ U% ^$ J     5     2     3     4     4     2     1     2     3     1     2     5     6      1     2     6     1     2     2     1     2     3     1     4     3     2      1     2     3     4     2     7     1     4     3     1     7     3     3 ' E* p4 K0 F0 v7 N     5     2     3     5     2     2     1     2     3     1     2     3     4      4     2     5     1     2     2     6     2     3     7     1     6     4 iteration 1, loglik = -327.100465 iteration 2, loglik = -238.259812 1 O6 a5 g4 \; N+ a- G: l  Literation 3, loglik = -232.962948 . c& w$ F2 r) _* v# Uiteration 4, loglik = -223.323891 iteration 5, loglik = -207.630875 iteration 6, loglik = -191.012697 6 t- a! K. a6 L( B9 hiteration 7, loglik = -178.611546 7 u" M, A2 c0 j. ^4 p9 a- ^/ F. m/ Miteration 8, loglik = -171.524132 ! b( M0 X7 R' @" P6 E1 Kiteration 9, loglik = -168.626526 . [: h' r3 X- s' l+ @+ |iteration 10, loglik = -167.387057 7 L# K' R0 N3 P. _; xiteration 11, loglik = -166.689175 LL =   Columns 1 through 9 -327.1005 -238.2598 -232.9629 -223.3239 -207.6309 -191.0127 -178.6115 -171.5241 -168.6265   Columns 10 through 11 -167.3871 -166.6892 " `/ L' p- U. W4 g" {; nprior2 =     0.0000 0 n- G5 i0 Z6 ]) M    0.0000 2 c- Y5 n  |) d4 w. Y    1.0000     0.0000     0.0000 9 A9 l" u4 e* v" M8 Y! S( s$ j' U" Xtransmat2 =     0.0138    0.0089    0.7680    0.1060    0.1033 * `* ?  d0 q0 B  U$ E5 ~' R# d6 K    0.7811    0.0000    0.0199    0.0067    0.1923     0.0000    0.9936    0.0000    0.0064    0.0000     0.1686    0.2604    0.2242    0.3398    0.0070 9 |* Z  g' X2 m9 b) I    0.0053    0.0406    0.8350    0.1184    0.0007 ( M+ K  `: _0 m# _. @& W: n( \obsmat2 =     0.0000    0.2351    0.5738    0.0256    0.1118    0.0186    0.0351     0.0000    0.8270    0.0000    0.0790    0.0256    0.0456    0.0228 . d4 Y( f! A4 {: }6 N5 D6 I* e    0.7514    0.0021    0.0011    0.0550    0.1472    0.0432    0.0000     0.0014    0.4208    0.0447    0.4366    0.0023    0.0887    0.0055 8 s, D0 i6 V0 S5 u/ J  T/ |# Z6 N    0.0000    0.0784    0.3223    0.2014    0.0116    0.1525    0.2338 iteration 1, loglik = -277.738670 iteration 2, loglik = -242.163247 iteration 3, loglik = -238.321971 9 D8 m; _" ]4 X7 O  p1 f8 Diteration 4, loglik = -233.166746 iteration 5, loglik = -225.682259 iteration 6, loglik = -214.560296 - K# V) b1 m2 ]# y- {. `: _iteration 7, loglik = -201.182015 iteration 8, loglik = -189.427453 iteration 9, loglik = -179.156352 % {7 ~+ L  R- }+ Viteration 10, loglik = -171.744096 - T! |- ^( S7 L" a- ~/ a# z, kiteration 11, loglik = -168.409063 LL2 =   Columns 1 through 9 -277.7387 -242.1632 -238.3220 -233.1667 -225.6823 -214.5603 -201.1820 -189.4275 -179.1564   Columns 10 through 11 -171.7441 -168.4091 prior4 =     0.0000     0.9982     0.0004 9 o6 r$ O2 N, [1 r: Y  V) l    0.0014 ! i! X: Q2 M2 F2 Q    0.0000 / W8 Z+ O) J) |9 T% Q6 Mtransmat4 =     0.0873    0.5277    0.2799    0.1007    0.0045     0.0002    0.0000    0.0005    0.0000    0.9994 ( D+ M% O0 m# Q  B3 t8 Q    0.0180    0.0000    0.0118    0.0011    0.9692     0.0436    0.0226    0.0810    0.0219    0.8310     0.9746    0.0056    0.0003    0.0195    0.0000 $ y' W' _3 ]8 E" B9 lobsmat4 =     0.0000    0.2012    0.5080    0.0580    0.1093    0.0465    0.0770     0.7939    0.0001    0.0000    0.0745    0.1277    0.0038    0.0000     0.4120    0.1044    0.0049    0.1736    0.0032    0.3017    0.0001     0.4527    0.0622    0.0637    0.2568    0.0549    0.0295    0.0802     0.0000    0.8172    0.0000    0.0943    0.0270    0.0389    0.0225 # z- q7 _0 F0 n  I, b$ h, odata1 =      5     2     4     1     2     2     5     2     3     7     1     6     2 loglik =   -19.2351 loglik2 =   -21.0715 path =      3     2     5     3     2     1     3     2     1     5     3     2     1 $ U) J4 X8 k0 ]. t/ G% @path2 =      2     5     1     2     5     1     2     5     1     1     2     5     1 fuhe =      1

6 D0 k5 h8 k' d7 ]
' E5 C3 i( U. C1 a; I
9 q* a* s! a! v