隐马尔科夫HMM在matlab实现的两个例子如何读懂，附HMM工具箱

杨利霞

隐马尔科夫HMM在matlab实现的两个例子如何读懂，附HMM工具箱

% ①定义一个HMM并训练这个HMM。 % ②用一组观察值测试这个HMM，计算该组观察值域HMM的匹配度。 9 p% `4 Y0 D8 g5 D+ U4 H% 修改：旺齐齐 % 修改部分为：添加 HMM2 模型。测试一个观察序列更加符合哪个哪个HMM模型。 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % O：观察状态数 O = 7; & [" ]$ I: \) P7 _  vO2 = 7; % Q：HMM状态数 ( X' ]8 K' n- ?4 \1 XQ = 5; & y  d# {( a  O# AQ2 = 5; ' S2 x* j2 \$ n3 }%训练的数据集,每一行数据就是一组训练的观察值 data=[1,2,3,1,2,2,4,2,3,1,2,7,2; + j+ N: [2 {, T' S# H0 B      1,2,3,6,2,2,1,4,3,1,5,3,1; 6 s! |, J, t% L* G. H. u0 W0 }5 _! |      1,2,3,1,2,5,1,2,4,1,2,3,2; - C  V( Z# {5 Y) Y5 ?  s      1,2,7,1,2,2,1,2,5,1,2,4,1; 7 L, u1 }* M3 c8 X8 p! b, |      5,2,3,3,5,2,1,2,3,1,2,3,6; 0 k% |* B* n# E* k0 p: Q      1,2,3,1,2,2,1,6,5,1,2,6,4;       5,2,3,4,4,2,1,2,3,1,2,5,6;       1,2,6,1,2,2,1,2,3,1,4,3,2; ' k$ i1 L' V- z4 V. E3 y! X      1,2,3,4,2,7,1,4,3,1,7,3,3; 9 i' @# C7 m4 h7 y1 s      5,2,3,5,2,2,1,2,3,1,2,3,4;       5,2,4,1,2,2,5,2,3,7,1,6,2;]   data2 = [1,2,3,1,2,2,4,2,3,1,2,7,2;           1,2,3,6,2,2,1,4,3,1,5,3,1; $ p: q: W2 j) Q0 h- i: @7 n% l          1,2,3,1,2,5,1,2,4,1,2,3,2; - X) G  W4 n' l3 p: V3 p          1,2,7,1,2,2,1,2,5,1,2,4,1; - Q3 @0 w8 W" c% M! X! X          5,2,3,3,5,2,1,2,3,1,2,3,6; 7 Y! s9 a) x, T& d0 |/ E% s2 c          1,2,3,1,2,2,1,6,5,1,2,6,4;           5,2,3,4,4,2,1,2,3,1,2,5,6; ' R/ W4 P' b" p& d  u9 L          1,2,6,1,2,2,1,2,3,1,4,3,2; ! K1 D+ I4 {; Y# J7 m% e* N+ ~          1,2,3,4,2,7,1,4,3,1,7,3,3; % K; d) U3 W; t          5,2,3,5,2,2,1,2,3,1,2,3,4;           4,2,5,1,2,2,6,2,3,7,1,6,4;] % initial guess of parameters . r" V( G! W) F! L7 g/ t) t. y% 初始化参数 & D8 y8 X' w# _prior1 = normalise(rand(Q,1)); transmat1 = mk_stochastic(rand(Q,Q)); obsmat1 = mk_stochastic(rand(Q,O)); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分 3 Y* u# h" P6 o' W+ j/ m* ~    prior3 = normalise(rand(Q2,1));     transmat3 = mk_stochastic(rand(Q2,Q2));     obsmat3 = mk_stochastic(rand(Q2,O2)); # N5 L6 k* v: Y  o$ q) K0 ?%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % improve guess of parameters using EM % 用data数据集训练参数矩阵形成新的HMM模型 / w& p, e- ]( o( i, h) Q[LL, prior2, transmat2, obsmat2] = dhmm_em(data, prior1, transmat1, obsmat1, 'max_iter', size(data,1)); , N% M& r8 Q- ^& r! c. y% 训练后那行观察值与HMM匹配度 LL % 训练后的初始概率分布 9 S6 q3 W8 I( G# @prior2 % 训练后的状态转移概率矩阵 transmat2 ' x3 ~& h. S/ B9 ^/ S2 ?, E+ `% 观察值概率矩阵 obsmat2 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % W- e$ d. \, t" O4 r! t$ V% 添加部分 + w9 Z' x) }8 z' e/ Y4 H" B    [LL2, prior4, transmat4, obsmat4] = dhmm_em(data2, prior3, transmat3, obsmat3, 'max_iter', size(data2,1));     LL2 , [! b4 e3 h. ^7 {9 y6 N9 o    prior4     transmat4 & t8 {9 ?# i: p/ _" ]4 N    obsmat4 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % use model to compute log likelihood , D! Z& g8 L. {, e9 @% data1=[1,2,3,1,2,2,1,2,3,1,2,3,1] $ L5 [% V4 p( t+ _( g7 k0 X# U& Zdata1 = [5,2,4,1,2,2,5,2,3,7,1,6,2] loglik = dhmm_logprob(data1, prior2, transmat2, obsmat2) ' N- `3 L# s0 |: V2 j) b& w% log lik is slightly different than LL(end), since it is computed after the final M step   Z* H1 j* P  j! c% loglik 代表着data和这个hmm(三参数为prior2, transmat2, obsmat2)的匹配值，越大说明越匹配，0为极大值。 % path为viterbi算法的结果，即最大概率path %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 0 W. b% E. `6 k" E: ^% 添加部分 : C3 y+ `, e- T) U: X. k/ l, ]9 zloglik2 = dhmm_logprob(data1, prior4, transmat4, obsmat4) " |* ?9 f; X! }- u$ H& @8 }%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% B = multinomial_prob(data1,obsmat2); path = viterbi_path(prior2, transmat2, B) save('sa.mat'); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分     B2 = multinomial_prob(data1,obsmat4);     path2 = viterbi_path(prior4, transmat4, B2) 2 c# L/ j0 F1 i( {    save('sa2.mat');     if loglik2 > loglik % b: A) D! c; O9 |8 z& V+ d# j        fuhe = 2     else         fuhe = 1     end    %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% ------ 运行结果 ------ data =      1     2     3     1     2     2     4     2     3     1     2     7     2 * V& P$ V; G- o* }2 g' _8 Q- L     1     2     3     6     2     2     1     4     3     1     5     3     1 + m0 \; e1 w; J! a, W, j2 C" x     1     2     3     1     2     5     1     2     4     1     2     3     2      1     2     7     1     2     2     1     2     5     1     2     4     1 * U' t- e$ w: R6 V. a/ f  a     5     2     3     3     5     2     1     2     3     1     2     3     6 8 p- ]8 h; @1 d0 r* z" c     1     2     3     1     2     2     1     6     5     1     2     6     4 # i: y& P- [: H5 S( `* l     5     2     3     4     4     2     1     2     3     1     2     5     6 % H. M  e( }. e     1     2     6     1     2     2     1     2     3     1     4     3     2      1     2     3     4     2     7     1     4     3     1     7     3     3 8 J( X# f- ~, X, O# e: r     5     2     3     5     2     2     1     2     3     1     2     3     4 : B* k* b/ M+ t- D" l     5     2     4     1     2     2     5     2     3     7     1     6     2 data2 =      1     2     3     1     2     2     4     2     3     1     2     7     2      1     2     3     6     2     2     1     4     3     1     5     3     1 3 u6 o- d! \: c  u: C     1     2     3     1     2     5     1     2     4     1     2     3     2      1     2     7     1     2     2     1     2     5     1     2     4     1      5     2     3     3     5     2     1     2     3     1     2     3     6      1     2     3     1     2     2     1     6     5     1     2     6     4      5     2     3     4     4     2     1     2     3     1     2     5     6 9 k/ `; D$ Y: N! Q# [2 @- `     1     2     6     1     2     2     1     2     3     1     4     3     2 . `* l6 e1 `% Q. P- p     1     2     3     4     2     7     1     4     3     1     7     3     3 & K' }8 v& h: D     5     2     3     5     2     2     1     2     3     1     2     3     4      4     2     5     1     2     2     6     2     3     7     1     6     4 iteration 1, loglik = -327.100465 iteration 2, loglik = -238.259812 iteration 3, loglik = -232.962948 : J0 p6 T; \* t8 S  {; p* siteration 4, loglik = -223.323891 iteration 5, loglik = -207.630875 iteration 6, loglik = -191.012697 " |; i6 C4 v) Yiteration 7, loglik = -178.611546 iteration 8, loglik = -171.524132 iteration 9, loglik = -168.626526 iteration 10, loglik = -167.387057 iteration 11, loglik = -166.689175 LL =   Columns 1 through 9 -327.1005 -238.2598 -232.9629 -223.3239 -207.6309 -191.0127 -178.6115 -171.5241 -168.6265   Columns 10 through 11 -167.3871 -166.6892 2 X9 T- [+ G: D! e8 L: Q) Qprior2 =     0.0000 - i! f5 g1 \* B, E2 m  r2 Z    0.0000 ( {3 J: s; I- f* a  ^+ p    1.0000     0.0000 . P' _" E& ]2 C  l0 A4 ], i    0.0000 # w# `; j' s! ]. {& S6 C5 u" |transmat2 =     0.0138    0.0089    0.7680    0.1060    0.1033     0.7811    0.0000    0.0199    0.0067    0.1923 & m; B8 Y  U. N$ l; Y0 p    0.0000    0.9936    0.0000    0.0064    0.0000     0.1686    0.2604    0.2242    0.3398    0.0070 ) }/ v" M6 C6 R* Z8 ~* ^& P4 A" J    0.0053    0.0406    0.8350    0.1184    0.0007 / W! e" G* ~. d/ U2 |; w4 X. oobsmat2 =     0.0000    0.2351    0.5738    0.0256    0.1118    0.0186    0.0351     0.0000    0.8270    0.0000    0.0790    0.0256    0.0456    0.0228     0.7514    0.0021    0.0011    0.0550    0.1472    0.0432    0.0000     0.0014    0.4208    0.0447    0.4366    0.0023    0.0887    0.0055 4 n4 ^4 e  g! T. A9 v8 |    0.0000    0.0784    0.3223    0.2014    0.0116    0.1525    0.2338 iteration 1, loglik = -277.738670 7 F. r! o) v. Yiteration 2, loglik = -242.163247 # W2 ]  f' y% Y* {0 N0 u5 e1 C# `iteration 3, loglik = -238.321971 iteration 4, loglik = -233.166746 0 x1 u: r9 a2 n) g2 C4 G2 `; Giteration 5, loglik = -225.682259 + d( ~0 a( F# @, ~- J! iiteration 6, loglik = -214.560296 iteration 7, loglik = -201.182015 iteration 8, loglik = -189.427453 iteration 9, loglik = -179.156352 iteration 10, loglik = -171.744096 iteration 11, loglik = -168.409063 LL2 =   Columns 1 through 9 -277.7387 -242.1632 -238.3220 -233.1667 -225.6823 -214.5603 -201.1820 -189.4275 -179.1564   Columns 10 through 11 -171.7441 -168.4091 prior4 =     0.0000     0.9982 $ r6 S6 E" ~& b7 S" F; Z( a; W+ s    0.0004 7 j6 O" G  \4 I; R0 o    0.0014 * V5 {3 n) _0 \, s    0.0000 - |: n- `  L2 ]9 Utransmat4 =     0.0873    0.5277    0.2799    0.1007    0.0045 - @, t2 R6 [0 u0 K. W4 L9 L    0.0002    0.0000    0.0005    0.0000    0.9994     0.0180    0.0000    0.0118    0.0011    0.9692     0.0436    0.0226    0.0810    0.0219    0.8310     0.9746    0.0056    0.0003    0.0195    0.0000 2 U* l% [2 M: s* @0 f7 ?obsmat4 =     0.0000    0.2012    0.5080    0.0580    0.1093    0.0465    0.0770     0.7939    0.0001    0.0000    0.0745    0.1277    0.0038    0.0000     0.4120    0.1044    0.0049    0.1736    0.0032    0.3017    0.0001 ( H. j7 _4 g1 _; X- W7 F5 N    0.4527    0.0622    0.0637    0.2568    0.0549    0.0295    0.0802 0 G: `, C5 ~6 Y5 W9 N6 m    0.0000    0.8172    0.0000    0.0943    0.0270    0.0389    0.0225 data1 =      5     2     4     1     2     2     5     2     3     7     1     6     2 7 r8 A) R* j, Y( d' R3 }loglik =   -19.2351 . J3 ^8 M1 ~; t. q' }% @' uloglik2 =   -21.0715 path =      3     2     5     3     2     1     3     2     1     5     3     2     1 6 r: M* `( l% n8 @. @path2 =      2     5     1     2     5     1     2     5     1     1     2     5     1 fuhe =      1

& x5 v3 N4 ~% z& ]
! d$ ]0 T( U* H. S9 q