隐马尔科夫HMM在matlab实现的两个例子如何读懂，附HMM工具箱

杨利霞

! ~: D1 U9 s8 f8 k. Y隐马尔科夫HMM在matlab实现的两个例子如何读懂，附HMM工具箱

% ①定义一个HMM并训练这个HMM。 % ②用一组观察值测试这个HMM，计算该组观察值域HMM的匹配度。 % 修改：旺齐齐 % 修改部分为：添加 HMM2 模型。测试一个观察序列更加符合哪个哪个HMM模型。 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % O：观察状态数 O = 7; ; i2 K% H  |+ KO2 = 7; ; E# b6 t& t# s% Q：HMM状态数 ; d5 e, i; A: X! B, GQ = 5; Q2 = 5; %训练的数据集,每一行数据就是一组训练的观察值 2 Y' x+ c/ p" ddata=[1,2,3,1,2,2,4,2,3,1,2,7,2; 9 Q0 X) V0 l* u, l- Z. G4 {      1,2,3,6,2,2,1,4,3,1,5,3,1; ' S5 W( s4 o/ t% L* b2 h( H      1,2,3,1,2,5,1,2,4,1,2,3,2; 7 O1 X# x8 Z6 {9 Z. z$ n: m      1,2,7,1,2,2,1,2,5,1,2,4,1; & U, m$ H9 V* G! S$ Y; [2 O      5,2,3,3,5,2,1,2,3,1,2,3,6;       1,2,3,1,2,2,1,6,5,1,2,6,4;       5,2,3,4,4,2,1,2,3,1,2,5,6;       1,2,6,1,2,2,1,2,3,1,4,3,2;       1,2,3,4,2,7,1,4,3,1,7,3,3;       5,2,3,5,2,2,1,2,3,1,2,3,4; 4 w2 Z) v& A( e# d9 e- ?/ B  m0 \      5,2,4,1,2,2,5,2,3,7,1,6,2;] 7 M# [  ]0 Z0 ^5 V( [* V+ V  data2 = [1,2,3,1,2,2,4,2,3,1,2,7,2;           1,2,3,6,2,2,1,4,3,1,5,3,1;           1,2,3,1,2,5,1,2,4,1,2,3,2;           1,2,7,1,2,2,1,2,5,1,2,4,1; . L5 t9 |- F# Y! P: w* `          5,2,3,3,5,2,1,2,3,1,2,3,6;           1,2,3,1,2,2,1,6,5,1,2,6,4; 1 \. ?9 x0 j( y: b% b* G2 G2 D3 [# u          5,2,3,4,4,2,1,2,3,1,2,5,6;   x, X6 ~( \$ j" ]! ]          1,2,6,1,2,2,1,2,3,1,4,3,2; ) K/ I8 ^1 P& W0 l          1,2,3,4,2,7,1,4,3,1,7,3,3; , Z( {/ E1 H4 _6 W- l) V% T          5,2,3,5,2,2,1,2,3,1,2,3,4;           4,2,5,1,2,2,6,2,3,7,1,6,4;] % initial guess of parameters 3 Q) G; i; m% F9 e/ N% b0 C0 N7 x% 初始化参数 % S+ S" D) A9 [3 U4 I! Dprior1 = normalise(rand(Q,1)); 6 J- X" d4 J8 q# e% i, htransmat1 = mk_stochastic(rand(Q,Q)); 5 ?' e0 ^- u9 t5 x* sobsmat1 = mk_stochastic(rand(Q,O)); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 7 p+ l" X, k1 a/ |+ p% 添加部分     prior3 = normalise(rand(Q2,1));     transmat3 = mk_stochastic(rand(Q2,Q2)); " e- s5 k% p' L5 @$ R8 X1 Q    obsmat3 = mk_stochastic(rand(Q2,O2)); - P  L* n2 P8 [/ \%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % improve guess of parameters using EM % 用data数据集训练参数矩阵形成新的HMM模型 4 d/ i7 A% o# V% Z% ^[LL, prior2, transmat2, obsmat2] = dhmm_em(data, prior1, transmat1, obsmat1, 'max_iter', size(data,1)); 4 D: x2 ]( B3 Q# ?9 U% 训练后那行观察值与HMM匹配度 # ]& M% c4 S  ~9 W2 XLL 2 Y4 i5 i/ F& z: H& X2 C% 训练后的初始概率分布 prior2 % 训练后的状态转移概率矩阵 transmat2 % 观察值概率矩阵 obsmat2 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分 ( @3 U4 r  y8 L: I, _' [- J    [LL2, prior4, transmat4, obsmat4] = dhmm_em(data2, prior3, transmat3, obsmat3, 'max_iter', size(data2,1));     LL2 8 I8 v0 [. p. Z    prior4     transmat4 3 Q4 f5 z! I' v6 d% _0 m    obsmat4 ; o( U- m( H3 c3 f- f%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % use model to compute log likelihood 5 N5 L) U% x( U% data1=[1,2,3,1,2,2,1,2,3,1,2,3,1] data1 = [5,2,4,1,2,2,5,2,3,7,1,6,2] loglik = dhmm_logprob(data1, prior2, transmat2, obsmat2) 6 E1 b+ K5 x* e5 D% log lik is slightly different than LL(end), since it is computed after the final M step % loglik 代表着data和这个hmm(三参数为prior2, transmat2, obsmat2)的匹配值，越大说明越匹配，0为极大值。 % path为viterbi算法的结果，即最大概率path %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分 loglik2 = dhmm_logprob(data1, prior4, transmat4, obsmat4) %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 7 s; U! ?' _) o' [. mB = multinomial_prob(data1,obsmat2); path = viterbi_path(prior2, transmat2, B) 8 y0 t9 k; v3 v& x; }: Usave('sa.mat'); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 添加部分   ]1 z7 f/ E5 {1 t, X8 ]    B2 = multinomial_prob(data1,obsmat4);     path2 = viterbi_path(prior4, transmat4, B2) : p8 Y( T: z& ^: n% z    save('sa2.mat');     if loglik2 > loglik         fuhe = 2     else ( Z5 `. u. c" B7 c! c! ~        fuhe = 1     end    ! M( t. E7 b# k8 _0 Q/ l  G" n%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% ------ 运行结果 ------ data =      1     2     3     1     2     2     4     2     3     1     2     7     2      1     2     3     6     2     2     1     4     3     1     5     3     1      1     2     3     1     2     5     1     2     4     1     2     3     2      1     2     7     1     2     2     1     2     5     1     2     4     1      5     2     3     3     5     2     1     2     3     1     2     3     6 5 a% i8 T0 x4 R& m0 ]# S1 h( l     1     2     3     1     2     2     1     6     5     1     2     6     4      5     2     3     4     4     2     1     2     3     1     2     5     6 ! C6 I0 g6 A% u6 Z  }     1     2     6     1     2     2     1     2     3     1     4     3     2      1     2     3     4     2     7     1     4     3     1     7     3     3      5     2     3     5     2     2     1     2     3     1     2     3     4      5     2     4     1     2     2     5     2     3     7     1     6     2 data2 =      1     2     3     1     2     2     4     2     3     1     2     7     2 5 ^4 F9 O; }! u     1     2     3     6     2     2     1     4     3     1     5     3     1 & p% T6 y% j( `' t# K( I     1     2     3     1     2     5     1     2     4     1     2     3     2 8 U: |, F0 M. M+ Z7 V/ X5 }* F     1     2     7     1     2     2     1     2     5     1     2     4     1      5     2     3     3     5     2     1     2     3     1     2     3     6 1 r/ ]* x2 q5 P% G. D; {. V9 f% @     1     2     3     1     2     2     1     6     5     1     2     6     4 ' I3 l+ x$ k2 \/ a4 H6 U/ t     5     2     3     4     4     2     1     2     3     1     2     5     6 1 b  P- Z3 W+ |. K: }( a     1     2     6     1     2     2     1     2     3     1     4     3     2 $ V# O6 V: {; }+ Z     1     2     3     4     2     7     1     4     3     1     7     3     3 0 B; l9 D) [  v     5     2     3     5     2     2     1     2     3     1     2     3     4      4     2     5     1     2     2     6     2     3     7     1     6     4 iteration 1, loglik = -327.100465 * Q  @  d2 T; c/ e& xiteration 2, loglik = -238.259812 iteration 3, loglik = -232.962948 iteration 4, loglik = -223.323891 3 [9 d3 q3 K- D$ ~iteration 5, loglik = -207.630875 & H8 i* E3 M3 s# Qiteration 6, loglik = -191.012697 iteration 7, loglik = -178.611546 . F; d; h0 f, C, Niteration 8, loglik = -171.524132 iteration 9, loglik = -168.626526 / h3 _  |8 l( N2 h  Biteration 10, loglik = -167.387057 iteration 11, loglik = -166.689175 LL =   Columns 1 through 9 -327.1005 -238.2598 -232.9629 -223.3239 -207.6309 -191.0127 -178.6115 -171.5241 -168.6265   Columns 10 through 11 -167.3871 -166.6892 prior2 =     0.0000     0.0000     1.0000     0.0000 ! d" T1 R' L( S    0.0000 / J+ Y- }+ b( y: v1 A$ B$ wtransmat2 =     0.0138    0.0089    0.7680    0.1060    0.1033 / ]/ H% ^0 U/ ^    0.7811    0.0000    0.0199    0.0067    0.1923 ; e9 E! I3 c# ^& @4 |) F. E! L    0.0000    0.9936    0.0000    0.0064    0.0000     0.1686    0.2604    0.2242    0.3398    0.0070 ; n/ s9 t( `" g+ ?4 X    0.0053    0.0406    0.8350    0.1184    0.0007 obsmat2 =     0.0000    0.2351    0.5738    0.0256    0.1118    0.0186    0.0351     0.0000    0.8270    0.0000    0.0790    0.0256    0.0456    0.0228 , ~; l+ M8 o4 w( R# `7 e& y    0.7514    0.0021    0.0011    0.0550    0.1472    0.0432    0.0000 $ B$ x8 a! ]' Q4 E1 y" w    0.0014    0.4208    0.0447    0.4366    0.0023    0.0887    0.0055 5 `+ D  y4 ?2 ]    0.0000    0.0784    0.3223    0.2014    0.0116    0.1525    0.2338 iteration 1, loglik = -277.738670 . i9 u. ?: j, T7 A1 V- yiteration 2, loglik = -242.163247 iteration 3, loglik = -238.321971 iteration 4, loglik = -233.166746 iteration 5, loglik = -225.682259 iteration 6, loglik = -214.560296 3 ?# Z. I# z2 W9 c7 s: X/ K8 ^iteration 7, loglik = -201.182015 6 }* ~4 `9 {$ F" n4 Fiteration 8, loglik = -189.427453 iteration 9, loglik = -179.156352 iteration 10, loglik = -171.744096 iteration 11, loglik = -168.409063 LL2 =   Columns 1 through 9 -277.7387 -242.1632 -238.3220 -233.1667 -225.6823 -214.5603 -201.1820 -189.4275 -179.1564   Columns 10 through 11 -171.7441 -168.4091 prior4 =     0.0000     0.9982     0.0004     0.0014 8 |# V( @' U8 ]  o    0.0000 transmat4 =     0.0873    0.5277    0.2799    0.1007    0.0045 3 r  h$ H# @* ^0 @5 _: [9 a* g9 r    0.0002    0.0000    0.0005    0.0000    0.9994     0.0180    0.0000    0.0118    0.0011    0.9692 ) E# n. l4 L8 y# W* k& M3 L' a    0.0436    0.0226    0.0810    0.0219    0.8310     0.9746    0.0056    0.0003    0.0195    0.0000 obsmat4 =     0.0000    0.2012    0.5080    0.0580    0.1093    0.0465    0.0770 * O) j1 _2 U3 d  F+ r    0.7939    0.0001    0.0000    0.0745    0.1277    0.0038    0.0000 ( b( P1 L" x& n. I    0.4120    0.1044    0.0049    0.1736    0.0032    0.3017    0.0001 & v$ C& v( s5 t) X    0.4527    0.0622    0.0637    0.2568    0.0549    0.0295    0.0802 2 K: @/ F/ c) @% x! `& }4 b    0.0000    0.8172    0.0000    0.0943    0.0270    0.0389    0.0225 6 }, T- T( g. {# a# u( |data1 =      5     2     4     1     2     2     5     2     3     7     1     6     2 loglik =   -19.2351 loglik2 =   -21.0715 7 m' I$ j/ N* x" g+ |path =      3     2     5     3     2     1     3     2     1     5     3     2     1 path2 =      2     5     1     2     5     1     2     5     1     1     2     5     1 ' n5 n9 w# T  ]3 w5 W! Vfuhe =      1