隐马尔科夫HMM在matlab实现的两个例子如何读懂，附HMM工具箱

杨利霞

隐马尔科夫HMM在matlab实现的两个例子如何读懂，附HMM工具箱
' T1 F6 V. D$ m

% ①定义一个HMM并训练这个HMM。 $ X0 d/ X' W! g: C9 [2 q+ o% ②用一组观察值测试这个HMM，计算该组观察值域HMM的匹配度。 1 p' X: i8 U- Z) p% 修改：旺齐齐 / k! t( h+ x2 Q% 修改部分为：添加 HMM2 模型。测试一个观察序列更加符合哪个哪个HMM模型。 & ]; K$ \$ x3 n, F6 p0 X%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % O：观察状态数 / U& w' f5 {0 |8 z1 _' `' nO = 7; O2 = 7; + S  [. g0 i7 c/ a2 y# C% Q：HMM状态数 Q = 5; Q2 = 5; ! w- Z$ ^' {6 Q%训练的数据集,每一行数据就是一组训练的观察值 data=[1,2,3,1,2,2,4,2,3,1,2,7,2;       1,2,3,6,2,2,1,4,3,1,5,3,1;       1,2,3,1,2,5,1,2,4,1,2,3,2; 1 {. }  F% v3 |" h      1,2,7,1,2,2,1,2,5,1,2,4,1; ! ^2 T& \# s7 O; X3 m/ f9 r; a      5,2,3,3,5,2,1,2,3,1,2,3,6;       1,2,3,1,2,2,1,6,5,1,2,6,4;       5,2,3,4,4,2,1,2,3,1,2,5,6; 6 V5 |1 g) N0 A# v! n0 m      1,2,6,1,2,2,1,2,3,1,4,3,2; 0 t$ x% j; f% X7 Q& I      1,2,3,4,2,7,1,4,3,1,7,3,3;       5,2,3,5,2,2,1,2,3,1,2,3,4; . Y0 D3 z1 W5 C1 K' x' r4 `      5,2,4,1,2,2,5,2,3,7,1,6,2;]   data2 = [1,2,3,1,2,2,4,2,3,1,2,7,2; # b, u1 u. J4 W2 m/ y: M" o( T, a          1,2,3,6,2,2,1,4,3,1,5,3,1;   B  `2 G; }7 y2 Y          1,2,3,1,2,5,1,2,4,1,2,3,2;           1,2,7,1,2,2,1,2,5,1,2,4,1;   c  ]7 ]) V9 c" M( ]- m          5,2,3,3,5,2,1,2,3,1,2,3,6;           1,2,3,1,2,2,1,6,5,1,2,6,4; 6 T) f0 p2 E* r! x& x          5,2,3,4,4,2,1,2,3,1,2,5,6;   F( p% x2 t0 y2 G& t) B          1,2,6,1,2,2,1,2,3,1,4,3,2; 9 U- E$ f* Z% d. [( A+ \& h7 \. B          1,2,3,4,2,7,1,4,3,1,7,3,3; 3 E( `" O9 Z  k3 r          5,2,3,5,2,2,1,2,3,1,2,3,4;           4,2,5,1,2,2,6,2,3,7,1,6,4;] % initial guess of parameters % 初始化参数 $ x* F+ Y4 i( a4 l/ G0 J# T" Oprior1 = normalise(rand(Q,1)); transmat1 = mk_stochastic(rand(Q,Q)); / G6 T3 u, e. V( B/ lobsmat1 = mk_stochastic(rand(Q,O)); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% : p: f* l; G/ T4 z( l  s2 t% 添加部分 : U" [% R% {  z( |    prior3 = normalise(rand(Q2,1)); 6 {' q$ Y# |; x* u: Z4 c: |6 Q: ?4 u    transmat3 = mk_stochastic(rand(Q2,Q2)); 9 {) `1 b: [( W- X" a! X    obsmat3 = mk_stochastic(rand(Q2,O2)); - V% e5 O8 Y' M, y' ?3 F6 s%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % improve guess of parameters using EM 1 V* B4 f/ k* G, i  M+ p$ p% 用data数据集训练参数矩阵形成新的HMM模型 [LL, prior2, transmat2, obsmat2] = dhmm_em(data, prior1, transmat1, obsmat1, 'max_iter', size(data,1)); % 训练后那行观察值与HMM匹配度 LL $ Y$ }  @+ a( i; _5 K% 训练后的初始概率分布 prior2 % 训练后的状态转移概率矩阵 transmat2 % 观察值概率矩阵 5 T* \4 O* }2 n. s1 |- gobsmat2 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分 ' B* g# Q+ ]# L$ y4 w    [LL2, prior4, transmat4, obsmat4] = dhmm_em(data2, prior3, transmat3, obsmat3, 'max_iter', size(data2,1));     LL2 9 w4 L6 D( l/ ?+ r    prior4 ( s$ l4 H3 A1 \    transmat4     obsmat4 ( |. s% Y; k. d%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % use model to compute log likelihood 7 J1 o+ H4 F' @  ], f% data1=[1,2,3,1,2,2,1,2,3,1,2,3,1] 9 N: n% I: q7 f4 ^data1 = [5,2,4,1,2,2,5,2,3,7,1,6,2] loglik = dhmm_logprob(data1, prior2, transmat2, obsmat2) 5 B3 R9 R: E1 t5 E* w% log lik is slightly different than LL(end), since it is computed after the final M step 0 N3 ?% c& B! o$ z% loglik 代表着data和这个hmm(三参数为prior2, transmat2, obsmat2)的匹配值，越大说明越匹配，0为极大值。 % path为viterbi算法的结果，即最大概率path %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%   a8 q" f9 w+ O' f# l! \% 添加部分 loglik2 = dhmm_logprob(data1, prior4, transmat4, obsmat4) %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% B = multinomial_prob(data1,obsmat2); ( z6 ?" A/ u. x! ^+ Spath = viterbi_path(prior2, transmat2, B) / x6 n5 Z- f3 v0 E3 E8 Y# I; g( Ssave('sa.mat'); 6 N9 G. j5 F. L5 o$ ~%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % B# Q* ]. k$ R% 添加部分 + b$ q# ^& w  I  [    B2 = multinomial_prob(data1,obsmat4);     path2 = viterbi_path(prior4, transmat4, B2)     save('sa2.mat');     if loglik2 > loglik 7 S* n5 N8 o9 \- D  V( X        fuhe = 2     else         fuhe = 1 4 C  w" o# R7 K% V. F    end    . h) k2 n9 ^" K; Z3 Z%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% ------ 运行结果 ------ data =      1     2     3     1     2     2     4     2     3     1     2     7     2 ( f! a/ q4 q1 T/ w& w     1     2     3     6     2     2     1     4     3     1     5     3     1 - L) {) Q4 m8 g- g: M     1     2     3     1     2     5     1     2     4     1     2     3     2 + g, I) a) w3 L     1     2     7     1     2     2     1     2     5     1     2     4     1 ; G, `' ?. S6 u% d     5     2     3     3     5     2     1     2     3     1     2     3     6      1     2     3     1     2     2     1     6     5     1     2     6     4      5     2     3     4     4     2     1     2     3     1     2     5     6 * O# h9 l4 W3 O) y- O     1     2     6     1     2     2     1     2     3     1     4     3     2      1     2     3     4     2     7     1     4     3     1     7     3     3      5     2     3     5     2     2     1     2     3     1     2     3     4 # I  S9 v8 s' Y, a7 @     5     2     4     1     2     2     5     2     3     7     1     6     2 $ P: e! O2 K6 Y6 E6 K3 F; R7 u+ Zdata2 =      1     2     3     1     2     2     4     2     3     1     2     7     2 : U6 h  n$ V% ?     1     2     3     6     2     2     1     4     3     1     5     3     1 7 B* u6 }; J, b     1     2     3     1     2     5     1     2     4     1     2     3     2 3 B3 D4 A1 f, P4 ~' `     1     2     7     1     2     2     1     2     5     1     2     4     1 6 \7 T. `2 W2 u9 L" X     5     2     3     3     5     2     1     2     3     1     2     3     6 * w/ ]# W3 n3 ~3 Q4 t     1     2     3     1     2     2     1     6     5     1     2     6     4      5     2     3     4     4     2     1     2     3     1     2     5     6      1     2     6     1     2     2     1     2     3     1     4     3     2 0 b8 J% |3 o1 Z  H2 a' B2 C     1     2     3     4     2     7     1     4     3     1     7     3     3 % W2 H& z4 K9 \" l) e3 D9 F     5     2     3     5     2     2     1     2     3     1     2     3     4 2 j1 r2 T; X, I8 I. i: C' D& h     4     2     5     1     2     2     6     2     3     7     1     6     4 iteration 1, loglik = -327.100465 iteration 2, loglik = -238.259812 iteration 3, loglik = -232.962948 / }7 E' H& x$ M$ aiteration 4, loglik = -223.323891 iteration 5, loglik = -207.630875 8 v' s5 k- K; ?iteration 6, loglik = -191.012697 3 O+ |3 W8 X6 P  ziteration 7, loglik = -178.611546 + D* o- h% \- [, o( ~iteration 8, loglik = -171.524132 iteration 9, loglik = -168.626526 ; ^/ I- g# S3 A6 n* F$ I0 E& ^iteration 10, loglik = -167.387057 iteration 11, loglik = -166.689175 LL =   Columns 1 through 9 -327.1005 -238.2598 -232.9629 -223.3239 -207.6309 -191.0127 -178.6115 -171.5241 -168.6265   Columns 10 through 11 -167.3871 -166.6892 . g5 D, T5 q+ C3 `prior2 =     0.0000   \5 ]9 a9 W% V, A% u! ~    0.0000 2 |$ V8 ]; k) j5 L( R' v    1.0000     0.0000 1 A# S0 X( H/ |" T" a, i    0.0000 4 `$ d" r+ a: ^- Z0 {5 Ztransmat2 =     0.0138    0.0089    0.7680    0.1060    0.1033     0.7811    0.0000    0.0199    0.0067    0.1923 ( L1 ?! s- r' Q- i- t3 V$ e    0.0000    0.9936    0.0000    0.0064    0.0000     0.1686    0.2604    0.2242    0.3398    0.0070 # ^: u+ C5 N. y$ F' D+ `    0.0053    0.0406    0.8350    0.1184    0.0007 obsmat2 =     0.0000    0.2351    0.5738    0.0256    0.1118    0.0186    0.0351 2 D; W/ j- k  {+ _- |    0.0000    0.8270    0.0000    0.0790    0.0256    0.0456    0.0228 . j6 m- k8 ~0 t; `" j9 [9 H7 Z    0.7514    0.0021    0.0011    0.0550    0.1472    0.0432    0.0000     0.0014    0.4208    0.0447    0.4366    0.0023    0.0887    0.0055     0.0000    0.0784    0.3223    0.2014    0.0116    0.1525    0.2338 iteration 1, loglik = -277.738670 2 Z$ L: l" @, Z# y! ?. Niteration 2, loglik = -242.163247 iteration 3, loglik = -238.321971 iteration 4, loglik = -233.166746 iteration 5, loglik = -225.682259 iteration 6, loglik = -214.560296 iteration 7, loglik = -201.182015 / N! j: `4 ?' Z/ piteration 8, loglik = -189.427453 3 n- R! H' `  A" w/ N# niteration 9, loglik = -179.156352 8 ^7 r0 t0 S" M0 F2 ]2 a- viteration 10, loglik = -171.744096 ( u" b6 p' `& witeration 11, loglik = -168.409063 LL2 =   Columns 1 through 9 -277.7387 -242.1632 -238.3220 -233.1667 -225.6823 -214.5603 -201.1820 -189.4275 -179.1564   Columns 10 through 11 -171.7441 -168.4091 prior4 =     0.0000     0.9982 4 Z6 J9 s0 U8 C# d/ f+ V    0.0004     0.0014     0.0000 transmat4 =     0.0873    0.5277    0.2799    0.1007    0.0045   C* C7 t3 o; Q$ C* X    0.0002    0.0000    0.0005    0.0000    0.9994 ; Q  J( W4 `; d0 E8 ]    0.0180    0.0000    0.0118    0.0011    0.9692     0.0436    0.0226    0.0810    0.0219    0.8310 3 t& c& p7 F5 h: W0 o6 I1 g$ y    0.9746    0.0056    0.0003    0.0195    0.0000 1 e1 l! B" r4 y& Y4 Dobsmat4 =     0.0000    0.2012    0.5080    0.0580    0.1093    0.0465    0.0770     0.7939    0.0001    0.0000    0.0745    0.1277    0.0038    0.0000 7 J6 ?* U  ?+ K* H$ j( g    0.4120    0.1044    0.0049    0.1736    0.0032    0.3017    0.0001     0.4527    0.0622    0.0637    0.2568    0.0549    0.0295    0.0802     0.0000    0.8172    0.0000    0.0943    0.0270    0.0389    0.0225 1 O# G8 r: V5 j% pdata1 =      5     2     4     1     2     2     5     2     3     7     1     6     2 loglik =   -19.2351 loglik2 =   -21.0715 7 [4 w7 B! R& t( W4 ^+ lpath =      3     2     5     3     2     1     3     2     1     5     3     2     1 path2 =      2     5     1     2     5     1     2     5     1     1     2     5     1 , n; v  P; f% {) nfuhe =      1

( v4 j' u5 a1 {8 y: W( Q: z
& [# O% h  B4 w9 J  P! U) D9 b