马氏链模型

longde

马氏链模型

# e( Q3 h8 a! F$ e基本概念2 V$ M8 Y" m' Q5 J5 _9 A
# W/ z4 ^# ]- \  p    这一章介绍了处理离散随机过程的重要工具——马氏链模型，及若干个应用。总体从浅到深，阐述了马氏链的主要思想。
8 L% @8 X4 C/ v3 B1. 无后效性/Markov性： 系统在每个时期所处的状态时随机的，这个时期到下个时期状态按照一定概率进行转移，且下个时期状态只取决于 1）这个时期状态 2）转移概率，与以前各时期状态无关。+ H& h- b- d+ [- I8 K. z
4 I3 }2 X2 X8 {" ]% @/ w, _; P" m2. 马氏链（Markov Chain）模型通常描述： 已知现在，将来与历史无关，具有无后效性的，时间状态均离散的随即转移过程。
- D( e& S3 j7 [3. 一些确定性系统的状态转移问题也能用马氏链处理。2 \* U7 L3 T5 R  ^! W: t
2 C2 {9 I8 ]: Y6 Z) Z7 q, V8 G8 |( s- R6 G& y$ W! `
* s1 Z2 H& W9 M( p一、健康与疾病; a8 S& ~; m* w# x, w7 f- V# M% n
, j, _- I: P0 V& K2 W    主要介绍马氏链基本概念、要素： 系统的状态，状态概率，转移概率，马氏链基本方程，状态概率向量，转移概率矩阵。本章讨论时齐的（转移概率与时段n无关）马氏链。
    同时介绍2种主要类型——: j- Z9 k* h) c" N9 s  c  l" u
    1）正则链：从任意状态出发，经过有限次转移都能达到另外的任意状态（如何判断是正则链、相应定理）；; L2 s* h4 p  }- D3 e/ ]7 r+ X
, g* P8 n' b  q) K0 _  q! R% p    2）吸收链：首先引入吸收状态，顾名思义吧，就是某个状态的转移概率=1，即进了这个状态就出不来了，被“吸收”掉。  吸收链是（至少）存在一个吸收状态，使马氏链从每个费吸收状态出发，能有限次到某个吸收状态。! S0 I0 S9 a9 W& C$ J3 d
" {* ]% m) ^+ N* p二、钢琴销售的存贮策略8 a  Q3 ]& N+ R/ f
    动态随机存贮。一个简化的存贮模型，关键是从中理解状态变量、需求量、转移矩阵的设置和求解。 判断转移矩阵P为正则链后，用公式求出稳态概率分布w，就是达到稳态后的情况，然后用全概率公式算出失去销售机会的可能性。 这个模型虽然简单，但却是动态存储马氏链的浅显易懂的好例子，其中结合实际问题具体分析是最值得学习的。8 ]% L  w* [) G) e/ l7 p2 w0 m  S
  }" {, G' J  z+ n/ Y1 a( A三、基因遗传* }% y: _% m5 D6 n) |( q
    用马氏链模型研究遗传过程，关键是建模的过程——即选取系统的状态，这在“随机交配”和“近亲繁殖”中需用不同的设法。  随机交配过程推导的结果是 (p^2, 2pq, q^2) 分布将保持下去，即遗传学中的Hardy-Weinberg平稳定律；然而，近亲繁殖中，得到的转移矩阵发现是一个“吸收链”——即如果近亲结婚的话，若干代繁殖终将变成全是优种/全是劣种，并保持下去。这两个结论（虽然在理想化假设下）与我们之前的认识是很一致的，从中加深了马氏链的理解。
. @6 H4 T9 M3 k% G5 `( O- \四、等级结构
" A: p  _$ w. X. b    这个模型是用马氏链研究一个群体中各个个体等级分布变化情况，目标是研究等级分布变化规律，假设总人数不变。然后用某种途径让群体等级分布达到想要的稳定状态。5 c8 h+ A8 k( _/ {. c
3 e6 q  m2 C2 v2 ~2 i. M7 t6 b    重点在于变量的设置，以及还是状态设置、模型建立过程。  建模过后，先用“调入比例”这一现实中可控的量进行稳定控制，其中有“稳定域”的构造、分析。 然后是具体如何用调入比例，进行动态调节，实则转化为了一步步优化问题，动态调节的过程是一步接一步的，有重复循环的操作规律。这里也很好地体现了马氏链的“离散”特性，以及给编程创造了机会。  V+ _5 \+ N$ s4 A0 t9 B5 n
五、资金流通
    基本与等级结构一样，一系列推导最后总结出步骤，先判断稳定能否达到，若能达到，则由公式算出每年应如何投放资金。  与等级模型不同在于：各地区资金进出可正可负；所有地区资金总和可以变化。3 _, \& N2 Q!

) D# O- p9 R9 \8 b, V+ {