隐马尔科夫HMM在matlab实现的两个例子如何读懂，附HMM工具箱

杨利霞

+ E+ x5 M% x  k9 {' p$ s隐马尔科夫HMM在matlab实现的两个例子如何读懂，附HMM工具箱

% ①定义一个HMM并训练这个HMM。 % ②用一组观察值测试这个HMM，计算该组观察值域HMM的匹配度。 ; e# z7 N) g% w! }: m% 修改：旺齐齐 % 修改部分为：添加 HMM2 模型。测试一个观察序列更加符合哪个哪个HMM模型。 ' K+ n9 r! y0 |- T7 K%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % O：观察状态数 O = 7; : X2 p2 d" C3 G  R  CO2 = 7; 4 C! p2 P" Y2 d! t, x: k! ?+ L. h% Q：HMM状态数 Q = 5; Q2 = 5; %训练的数据集,每一行数据就是一组训练的观察值 , ^3 {: {5 T9 i7 R2 P; v: x) Qdata=[1,2,3,1,2,2,4,2,3,1,2,7,2; # t# D! ]! R% Y, p! h: v      1,2,3,6,2,2,1,4,3,1,5,3,1;       1,2,3,1,2,5,1,2,4,1,2,3,2; $ }/ I) Z4 `6 q' A* K3 G      1,2,7,1,2,2,1,2,5,1,2,4,1; . J( Q1 }; f; ?( R0 |4 ~1 s      5,2,3,3,5,2,1,2,3,1,2,3,6;       1,2,3,1,2,2,1,6,5,1,2,6,4;       5,2,3,4,4,2,1,2,3,1,2,5,6;       1,2,6,1,2,2,1,2,3,1,4,3,2;       1,2,3,4,2,7,1,4,3,1,7,3,3;       5,2,3,5,2,2,1,2,3,1,2,3,4;       5,2,4,1,2,2,5,2,3,7,1,6,2;] 3 ]+ K9 \. f8 x" ^' B9 {- J  data2 = [1,2,3,1,2,2,4,2,3,1,2,7,2;           1,2,3,6,2,2,1,4,3,1,5,3,1; % `$ V! ?4 `1 ?5 B8 U( ?6 Z          1,2,3,1,2,5,1,2,4,1,2,3,2; # V) N$ l( x2 H          1,2,7,1,2,2,1,2,5,1,2,4,1; ( n( o. W% G' }8 V/ [          5,2,3,3,5,2,1,2,3,1,2,3,6; 3 U8 U2 \3 f. c: r% o          1,2,3,1,2,2,1,6,5,1,2,6,4; ) W- S9 M, \; _, J- q+ H- P          5,2,3,4,4,2,1,2,3,1,2,5,6;           1,2,6,1,2,2,1,2,3,1,4,3,2; " m6 v* m# o" z' D- K          1,2,3,4,2,7,1,4,3,1,7,3,3; ! s' ]( M! a) l- w: y! g          5,2,3,5,2,2,1,2,3,1,2,3,4; ; z- j2 ]1 D  L" A6 q& n          4,2,5,1,2,2,6,2,3,7,1,6,4;] % initial guess of parameters   ~9 W$ e+ ]$ `2 b# D% 初始化参数 ; P2 I- p$ ?( j0 i% q! aprior1 = normalise(rand(Q,1)); transmat1 = mk_stochastic(rand(Q,Q)); obsmat1 = mk_stochastic(rand(Q,O)); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% : t# |$ T0 Y* N% y4 \7 ?% 添加部分     prior3 = normalise(rand(Q2,1));     transmat3 = mk_stochastic(rand(Q2,Q2));     obsmat3 = mk_stochastic(rand(Q2,O2)); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % improve guess of parameters using EM % 用data数据集训练参数矩阵形成新的HMM模型 [LL, prior2, transmat2, obsmat2] = dhmm_em(data, prior1, transmat1, obsmat1, 'max_iter', size(data,1)); % 训练后那行观察值与HMM匹配度 9 q0 i8 `! R" Y: M4 z! m& HLL % 训练后的初始概率分布 . f& l9 s: L7 {- Q4 b9 mprior2 9 p+ X" Z9 W+ E0 `% c, S$ V! m* ]! r9 t% 训练后的状态转移概率矩阵 transmat2 , z1 ?' V* f3 J6 B6 O. t8 t. e% 观察值概率矩阵 9 k- H. ^3 ~  |  U8 R& Y; {obsmat2 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% " B; i! U0 B! g. s+ Q  x- `3 n, b0 b% 添加部分 1 F  h# `: G; O( B$ T    [LL2, prior4, transmat4, obsmat4] = dhmm_em(data2, prior3, transmat3, obsmat3, 'max_iter', size(data2,1));     LL2 1 S1 D( \5 M. N# f8 p4 k7 X3 t    prior4 9 F2 k" l% E  r- s) C( O) A    transmat4 2 A1 L$ z6 Y1 v+ I* D    obsmat4 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % use model to compute log likelihood , N  v3 Z5 c' V2 H% data1=[1,2,3,1,2,2,1,2,3,1,2,3,1] ' Y3 B! I4 ~0 s7 Ndata1 = [5,2,4,1,2,2,5,2,3,7,1,6,2] + ^* h9 P$ }1 ?/ O6 Sloglik = dhmm_logprob(data1, prior2, transmat2, obsmat2) % log lik is slightly different than LL(end), since it is computed after the final M step % loglik 代表着data和这个hmm(三参数为prior2, transmat2, obsmat2)的匹配值，越大说明越匹配，0为极大值。 % path为viterbi算法的结果，即最大概率path %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分 . [+ u) C- R/ v8 {: Tloglik2 = dhmm_logprob(data1, prior4, transmat4, obsmat4) & _$ S7 x; r. w' S9 j%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% . r2 P/ N  `+ Z& U/ Y/ LB = multinomial_prob(data1,obsmat2); path = viterbi_path(prior2, transmat2, B) save('sa.mat'); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分 ; l  M7 K5 d. x: x    B2 = multinomial_prob(data1,obsmat4);     path2 = viterbi_path(prior4, transmat4, B2) 5 `8 ~, c, O. I    save('sa2.mat'); % g  q$ c& B8 m3 t4 [    if loglik2 > loglik         fuhe = 2     else & X  N. `4 Z% o6 [        fuhe = 1 8 w  K0 k* ]9 I* M5 C    end    & r( g: Y) V- }# i8 x# f$ v3 i$ M%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% ------ 运行结果 ------ data =      1     2     3     1     2     2     4     2     3     1     2     7     2 ; ?" O5 j$ N8 L5 y% d1 S' _4 e     1     2     3     6     2     2     1     4     3     1     5     3     1 0 u! x& K# \# r3 O/ _# K5 _+ M  `' L- d     1     2     3     1     2     5     1     2     4     1     2     3     2      1     2     7     1     2     2     1     2     5     1     2     4     1      5     2     3     3     5     2     1     2     3     1     2     3     6 - ?  u: |. h6 L  k     1     2     3     1     2     2     1     6     5     1     2     6     4 7 @) z) A; G3 i- h! c     5     2     3     4     4     2     1     2     3     1     2     5     6      1     2     6     1     2     2     1     2     3     1     4     3     2      1     2     3     4     2     7     1     4     3     1     7     3     3 9 x# ], E% ]' [6 k     5     2     3     5     2     2     1     2     3     1     2     3     4 * Y$ O  G3 w9 Y1 N4 C( j% M     5     2     4     1     2     2     5     2     3     7     1     6     2 9 G! b: M/ M. s) Xdata2 =      1     2     3     1     2     2     4     2     3     1     2     7     2      1     2     3     6     2     2     1     4     3     1     5     3     1 1 g# v% I6 S3 ]- y& L4 a) g" i$ f     1     2     3     1     2     5     1     2     4     1     2     3     2      1     2     7     1     2     2     1     2     5     1     2     4     1      5     2     3     3     5     2     1     2     3     1     2     3     6      1     2     3     1     2     2     1     6     5     1     2     6     4 - O: G" M1 U, |0 d* ~& n, T/ }     5     2     3     4     4     2     1     2     3     1     2     5     6      1     2     6     1     2     2     1     2     3     1     4     3     2      1     2     3     4     2     7     1     4     3     1     7     3     3 0 m5 a- G6 t7 Y: |     5     2     3     5     2     2     1     2     3     1     2     3     4 ( q4 U: {2 x: L: R) J8 }, w$ k* r7 |     4     2     5     1     2     2     6     2     3     7     1     6     4 iteration 1, loglik = -327.100465 iteration 2, loglik = -238.259812 5 @& x. W- D  C- Piteration 3, loglik = -232.962948 iteration 4, loglik = -223.323891 iteration 5, loglik = -207.630875 iteration 6, loglik = -191.012697 iteration 7, loglik = -178.611546 $ l! Y8 i8 l$ J, A& uiteration 8, loglik = -171.524132 * p3 l) V8 K/ N- ^" ?iteration 9, loglik = -168.626526 iteration 10, loglik = -167.387057 1 ]1 O+ `1 l5 h: \iteration 11, loglik = -166.689175 LL =   Columns 1 through 9 -327.1005 -238.2598 -232.9629 -223.3239 -207.6309 -191.0127 -178.6115 -171.5241 -168.6265   Columns 10 through 11 -167.3871 -166.6892 3 `) ^; `5 ~  Qprior2 =     0.0000 # w; Z# k% e& o* \6 r& W    0.0000     1.0000 6 l1 ^( y# o+ u    0.0000     0.0000 transmat2 =     0.0138    0.0089    0.7680    0.1060    0.1033   T% m) h! y) v: X) Y    0.7811    0.0000    0.0199    0.0067    0.1923     0.0000    0.9936    0.0000    0.0064    0.0000     0.1686    0.2604    0.2242    0.3398    0.0070     0.0053    0.0406    0.8350    0.1184    0.0007 obsmat2 =     0.0000    0.2351    0.5738    0.0256    0.1118    0.0186    0.0351     0.0000    0.8270    0.0000    0.0790    0.0256    0.0456    0.0228     0.7514    0.0021    0.0011    0.0550    0.1472    0.0432    0.0000     0.0014    0.4208    0.0447    0.4366    0.0023    0.0887    0.0055 2 o, s: D& j8 |0 [/ y  l; L/ z    0.0000    0.0784    0.3223    0.2014    0.0116    0.1525    0.2338 iteration 1, loglik = -277.738670 0 z5 C+ B# m2 @6 J" g* Miteration 2, loglik = -242.163247 / z! K. l2 K! X5 ?3 i9 J/ fiteration 3, loglik = -238.321971 iteration 4, loglik = -233.166746 iteration 5, loglik = -225.682259 iteration 6, loglik = -214.560296 , V6 w3 {, Q7 s1 siteration 7, loglik = -201.182015 iteration 8, loglik = -189.427453 iteration 9, loglik = -179.156352 iteration 10, loglik = -171.744096 7 [& c9 M2 ?- }iteration 11, loglik = -168.409063 LL2 =   Columns 1 through 9 -277.7387 -242.1632 -238.3220 -233.1667 -225.6823 -214.5603 -201.1820 -189.4275 -179.1564   Columns 10 through 11 -171.7441 -168.4091 + O* I3 H4 @8 Fprior4 =     0.0000     0.9982 6 U" n1 v3 o: a- g    0.0004 4 \5 u$ c$ ?% z( N6 u+ {) s3 r    0.0014     0.0000 5 O9 U% {: U# {4 w3 h$ f& ptransmat4 =     0.0873    0.5277    0.2799    0.1007    0.0045     0.0002    0.0000    0.0005    0.0000    0.9994 - h% F/ j  K! ]& _; ^- _    0.0180    0.0000    0.0118    0.0011    0.9692 . m1 ^) z; B( `5 X7 ?, W2 D: M, ^2 _    0.0436    0.0226    0.0810    0.0219    0.8310 ) D5 Z* Q3 U; P6 J$ h    0.9746    0.0056    0.0003    0.0195    0.0000 6 ^8 v# z1 T( ]2 F/ ?obsmat4 =     0.0000    0.2012    0.5080    0.0580    0.1093    0.0465    0.0770     0.7939    0.0001    0.0000    0.0745    0.1277    0.0038    0.0000     0.4120    0.1044    0.0049    0.1736    0.0032    0.3017    0.0001 8 J* j% u$ [$ w+ F0 P    0.4527    0.0622    0.0637    0.2568    0.0549    0.0295    0.0802 0 D1 V' L: I* D4 C/ q' A0 y1 p    0.0000    0.8172    0.0000    0.0943    0.0270    0.0389    0.0225 ' u' `- y; k  K' edata1 =      5     2     4     1     2     2     5     2     3     7     1     6     2 ; L+ e6 o: d6 F) Ploglik =   -19.2351 . u5 m: n) Q2 Q3 N4 V; ologlik2 =   -21.0715 path =      3     2     5     3     2     1     3     2     1     5     3     2     1 path2 =      2     5     1     2     5     1     2     5     1     1     2     5     1 , E/ m/ B1 R) }3 {" a- |5 gfuhe =      1

' r5 {5 s# k# N  U& N