隐马尔科夫HMM在matlab实现的两个例子如何读懂，附HMM工具箱

杨利霞

7 ]) L; M6 M8 s8 @) G隐马尔科夫HMM在matlab实现的两个例子如何读懂，附HMM工具箱
! a+ l! s) K. [

% ①定义一个HMM并训练这个HMM。 3 I+ r' g( M- a  w6 @! R+ [) T% ②用一组观察值测试这个HMM，计算该组观察值域HMM的匹配度。 + s2 ~6 [# l# W8 M/ A6 x: \% 修改：旺齐齐 1 e7 B8 V! ^) |" t' Y& a4 Q% 修改部分为：添加 HMM2 模型。测试一个观察序列更加符合哪个哪个HMM模型。 8 F2 @8 q/ v+ T, v7 e; b%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % O：观察状态数 O = 7; / }. g9 W+ n5 b% x# p! {O2 = 7; % Q：HMM状态数 3 H) }' ?5 |0 s% s' n. g9 ?! B8 QQ = 5; # F( H+ B( x: OQ2 = 5; %训练的数据集,每一行数据就是一组训练的观察值 ' ?9 }$ V4 ]9 M( h' q% \3 Kdata=[1,2,3,1,2,2,4,2,3,1,2,7,2; 3 V! X; H6 u7 j      1,2,3,6,2,2,1,4,3,1,5,3,1;       1,2,3,1,2,5,1,2,4,1,2,3,2;       1,2,7,1,2,2,1,2,5,1,2,4,1;       5,2,3,3,5,2,1,2,3,1,2,3,6; 3 T5 ?0 E2 h: ~2 ~5 L5 k: h      1,2,3,1,2,2,1,6,5,1,2,6,4; 7 |0 N- e6 U* i' N7 E      5,2,3,4,4,2,1,2,3,1,2,5,6; 5 K' |; h; _0 K) k4 \      1,2,6,1,2,2,1,2,3,1,4,3,2; + m% V4 t- v3 H1 ~) t) l      1,2,3,4,2,7,1,4,3,1,7,3,3; " O8 f1 ~2 L- A0 A; ]. h: r      5,2,3,5,2,2,1,2,3,1,2,3,4;       5,2,4,1,2,2,5,2,3,7,1,6,2;] # v( D# x  b& h/ ]$ y: }8 m0 E  data2 = [1,2,3,1,2,2,4,2,3,1,2,7,2; % T2 F; q. A! s) n& n7 D* E  T/ x          1,2,3,6,2,2,1,4,3,1,5,3,1;           1,2,3,1,2,5,1,2,4,1,2,3,2;           1,2,7,1,2,2,1,2,5,1,2,4,1; 5 D+ u; R; d: \% x7 O; o          5,2,3,3,5,2,1,2,3,1,2,3,6;           1,2,3,1,2,2,1,6,5,1,2,6,4;           5,2,3,4,4,2,1,2,3,1,2,5,6;           1,2,6,1,2,2,1,2,3,1,4,3,2;           1,2,3,4,2,7,1,4,3,1,7,3,3; % [. Q* x8 V. W6 S- }2 T# ]          5,2,3,5,2,2,1,2,3,1,2,3,4;           4,2,5,1,2,2,6,2,3,7,1,6,4;] % initial guess of parameters % 初始化参数 prior1 = normalise(rand(Q,1)); $ M( B/ D9 N7 z$ A- y2 y' Ntransmat1 = mk_stochastic(rand(Q,Q)); ; J1 Q9 ?, n4 a- T0 {3 @2 lobsmat1 = mk_stochastic(rand(Q,O)); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分 , t) x& {8 `3 ~9 S+ P- \    prior3 = normalise(rand(Q2,1)); 4 R  r) c, Z! F* @( A9 A    transmat3 = mk_stochastic(rand(Q2,Q2));     obsmat3 = mk_stochastic(rand(Q2,O2)); . t9 N9 F5 N* |4 ?3 ?%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % improve guess of parameters using EM ( b' t$ ?% N/ `; k" p/ n% 用data数据集训练参数矩阵形成新的HMM模型 [LL, prior2, transmat2, obsmat2] = dhmm_em(data, prior1, transmat1, obsmat1, 'max_iter', size(data,1)); % 训练后那行观察值与HMM匹配度 LL 6 V1 U7 o6 Z0 k& W/ R* p" A/ P% 训练后的初始概率分布 ; z+ |% l+ b* k0 e* d. dprior2 ; O7 F0 ]+ v: k5 \% 训练后的状态转移概率矩阵 transmat2   S4 u  L6 q4 f; }& S2 b% 观察值概率矩阵 1 \( n0 X, n# K& H& Q9 R5 E/ _obsmat2 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分     [LL2, prior4, transmat4, obsmat4] = dhmm_em(data2, prior3, transmat3, obsmat3, 'max_iter', size(data2,1));     LL2     prior4     transmat4 # J& _- f+ O( M2 x; ~& N  Z5 o    obsmat4 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % use model to compute log likelihood ) b- l2 Q  G" l8 M4 [% data1=[1,2,3,1,2,2,1,2,3,1,2,3,1] : ?0 s1 s# q3 |! `data1 = [5,2,4,1,2,2,5,2,3,7,1,6,2] loglik = dhmm_logprob(data1, prior2, transmat2, obsmat2) - u7 x7 D+ H# Z; s; t, b: N% log lik is slightly different than LL(end), since it is computed after the final M step 9 t- J/ \. Q* @7 p  Q% \- q% loglik 代表着data和这个hmm(三参数为prior2, transmat2, obsmat2)的匹配值，越大说明越匹配，0为极大值。 % path为viterbi算法的结果，即最大概率path %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分 " r1 L( ?2 r7 A* p) ]loglik2 = dhmm_logprob(data1, prior4, transmat4, obsmat4) %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% B = multinomial_prob(data1,obsmat2); $ x$ t/ x1 ^8 _# C! L0 Kpath = viterbi_path(prior2, transmat2, B) save('sa.mat'); ) s. s2 _' g* @  j, I%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分     B2 = multinomial_prob(data1,obsmat4); 7 M0 c3 E: V  j  i; i    path2 = viterbi_path(prior4, transmat4, B2)     save('sa2.mat'); - D$ J+ b$ n7 u' X    if loglik2 > loglik         fuhe = 2     else         fuhe = 1     end    %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% ------ 运行结果 ------ data =      1     2     3     1     2     2     4     2     3     1     2     7     2      1     2     3     6     2     2     1     4     3     1     5     3     1      1     2     3     1     2     5     1     2     4     1     2     3     2      1     2     7     1     2     2     1     2     5     1     2     4     1      5     2     3     3     5     2     1     2     3     1     2     3     6 + w% \$ R, P8 |  `* s, g7 g     1     2     3     1     2     2     1     6     5     1     2     6     4      5     2     3     4     4     2     1     2     3     1     2     5     6      1     2     6     1     2     2     1     2     3     1     4     3     2      1     2     3     4     2     7     1     4     3     1     7     3     3 * ^( j8 y3 J6 f, m     5     2     3     5     2     2     1     2     3     1     2     3     4 1 w7 `+ r: `; U2 {. o6 C* `+ O     5     2     4     1     2     2     5     2     3     7     1     6     2 data2 =      1     2     3     1     2     2     4     2     3     1     2     7     2      1     2     3     6     2     2     1     4     3     1     5     3     1      1     2     3     1     2     5     1     2     4     1     2     3     2      1     2     7     1     2     2     1     2     5     1     2     4     1      5     2     3     3     5     2     1     2     3     1     2     3     6 # U5 |$ E; W+ F0 Q     1     2     3     1     2     2     1     6     5     1     2     6     4      5     2     3     4     4     2     1     2     3     1     2     5     6      1     2     6     1     2     2     1     2     3     1     4     3     2 / E# q0 a! A0 a- x; @* z     1     2     3     4     2     7     1     4     3     1     7     3     3 ( i$ O- f( v7 Q8 V     5     2     3     5     2     2     1     2     3     1     2     3     4      4     2     5     1     2     2     6     2     3     7     1     6     4 iteration 1, loglik = -327.100465 5 a6 E; n- H; R, p$ g4 n+ H( hiteration 2, loglik = -238.259812 iteration 3, loglik = -232.962948   v8 R  C. @1 L2 a, Uiteration 4, loglik = -223.323891 iteration 5, loglik = -207.630875 # V5 g2 t( D/ j1 s' D# i4 P; y) Qiteration 6, loglik = -191.012697 . z- L6 H- z! ?; Witeration 7, loglik = -178.611546 9 q0 F- D3 v& V0 Y* y0 H& niteration 8, loglik = -171.524132 , ~8 `' @  R. P$ Giteration 9, loglik = -168.626526 iteration 10, loglik = -167.387057 iteration 11, loglik = -166.689175 LL =   Columns 1 through 9 -327.1005 -238.2598 -232.9629 -223.3239 -207.6309 -191.0127 -178.6115 -171.5241 -168.6265   Columns 10 through 11 -167.3871 -166.6892 1 \4 I9 a1 Q2 ~5 i. I" F3 Mprior2 =     0.0000     0.0000     1.0000 ; ^* E3 K7 N2 J8 Z" X- z4 |  o' p    0.0000 4 ^! }2 P8 E5 Q6 p8 |    0.0000 transmat2 =     0.0138    0.0089    0.7680    0.1060    0.1033     0.7811    0.0000    0.0199    0.0067    0.1923     0.0000    0.9936    0.0000    0.0064    0.0000     0.1686    0.2604    0.2242    0.3398    0.0070     0.0053    0.0406    0.8350    0.1184    0.0007 # S9 @8 d- F; i% @' }obsmat2 =     0.0000    0.2351    0.5738    0.0256    0.1118    0.0186    0.0351 " q' w, ^7 ]4 {, i    0.0000    0.8270    0.0000    0.0790    0.0256    0.0456    0.0228     0.7514    0.0021    0.0011    0.0550    0.1472    0.0432    0.0000 - X  H& J3 B/ h    0.0014    0.4208    0.0447    0.4366    0.0023    0.0887    0.0055 8 H& c/ v5 t, g2 C, A1 v    0.0000    0.0784    0.3223    0.2014    0.0116    0.1525    0.2338 iteration 1, loglik = -277.738670 ; y- }8 Z, O) L0 K* g: J4 piteration 2, loglik = -242.163247 8 W% ^1 }" n& K9 \iteration 3, loglik = -238.321971 iteration 4, loglik = -233.166746 iteration 5, loglik = -225.682259 " Y' n6 u% S- Q! Z3 Kiteration 6, loglik = -214.560296 iteration 7, loglik = -201.182015 7 E- D3 g# z3 v! ~/ t; t4 z" fiteration 8, loglik = -189.427453 iteration 9, loglik = -179.156352 / O, i0 ]# L  X* w: v4 x3 l! [iteration 10, loglik = -171.744096 iteration 11, loglik = -168.409063 LL2 =   Columns 1 through 9 -277.7387 -242.1632 -238.3220 -233.1667 -225.6823 -214.5603 -201.1820 -189.4275 -179.1564   Columns 10 through 11 -171.7441 -168.4091 prior4 =     0.0000 $ |3 v& Z- a' t. j  Y& m. Q    0.9982     0.0004     0.0014 ; Z8 O. K. E5 m  b    0.0000 ) _) R+ X$ A+ M5 C3 utransmat4 =     0.0873    0.5277    0.2799    0.1007    0.0045     0.0002    0.0000    0.0005    0.0000    0.9994     0.0180    0.0000    0.0118    0.0011    0.9692     0.0436    0.0226    0.0810    0.0219    0.8310     0.9746    0.0056    0.0003    0.0195    0.0000 9 y5 s; i) f  l* Hobsmat4 =     0.0000    0.2012    0.5080    0.0580    0.1093    0.0465    0.0770 - W: p% j  o7 A8 h" I3 \& _* A0 Q    0.7939    0.0001    0.0000    0.0745    0.1277    0.0038    0.0000 # ^) E( D/ ~7 [5 Y    0.4120    0.1044    0.0049    0.1736    0.0032    0.3017    0.0001     0.4527    0.0622    0.0637    0.2568    0.0549    0.0295    0.0802 : c( T( g# H. [6 k    0.0000    0.8172    0.0000    0.0943    0.0270    0.0389    0.0225 data1 =      5     2     4     1     2     2     5     2     3     7     1     6     2 7 y1 L* v2 k$ B* a7 O& e" C  sloglik =   -19.2351 loglik2 =   -21.0715 ' i& |, ^% c3 F' Zpath =      3     2     5     3     2     1     3     2     1     5     3     2     1 4 t( ~# K1 D; G3 M, k0 L- Apath2 =      2     5     1     2     5     1     2     5     1     1     2     5     1 " ?9 M$ Q! K$ @* tfuhe =      1

" J+ B7 g) r! k. h# N