马氏链模型

longde

马氏链模型
: n  E& n5 h# q+ L: `3 R
( ]; m8 w  S- z( Y/ \0 h2 N基本概念2 V$ M8 Y" m' Q5 J5 _9 A
' D: O9 O: |6 ~$ U0 R! P5 f    这一章介绍了处理离散随机过程的重要工具——马氏链模型，及若干个应用。总体从浅到深，阐述了马氏链的主要思想。
1. 无后效性/Markov性： 系统在每个时期所处的状态时随机的，这个时期到下个时期状态按照一定概率进行转移，且下个时期状态只取决于 1）这个时期状态 2）转移概率，与以前各时期状态无关。+ H& h- b- d+ [- I8 K. z
  v$ {1 y0 X; x8 d9 R- D1 p2. 马氏链（Markov Chain）模型通常描述： 已知现在，将来与历史无关，具有无后效性的，时间状态均离散的随即转移过程。
3. 一些确定性系统的状态转移问题也能用马氏链处理。2 \* U7 L3 T5 R  ^! W: t
7 q, V8 G8 |( s- R6 G& y$ W! `
  `7 H3 Y  q/ t* ^一、健康与疾病; a8 S& ~; m* w# x, w7 f- V# M% n
! I- j! ]3 R1 B6 b, B; Y& t    主要介绍马氏链基本概念、要素： 系统的状态，状态概率，转移概率，马氏链基本方程，状态概率向量，转移概率矩阵。本章讨论时齐的（转移概率与时段n无关）马氏链。
    同时介绍2种主要类型——: j- Z9 k* h) c" N9 s  c  l" u
    1）正则链：从任意状态出发，经过有限次转移都能达到另外的任意状态（如何判断是正则链、相应定理）；; L2 s* h4 p  }- D3 e/ ]7 r+ X
9 X8 v8 P6 f; }6 t. o- Y4 x0 n    2）吸收链：首先引入吸收状态，顾名思义吧，就是某个状态的转移概率=1，即进了这个状态就出不来了，被“吸收”掉。  吸收链是（至少）存在一个吸收状态，使马氏链从每个费吸收状态出发，能有限次到某个吸收状态。! S0 I0 S9 a9 W& C$ J3 d
二、钢琴销售的存贮策略8 a  Q3 ]& N+ R/ f
* Z7 O4 l6 E& f* q) v1 [' ^    动态随机存贮。一个简化的存贮模型，关键是从中理解状态变量、需求量、转移矩阵的设置和求解。 判断转移矩阵P为正则链后，用公式求出稳态概率分布w，就是达到稳态后的情况，然后用全概率公式算出失去销售机会的可能性。 这个模型虽然简单，但却是动态存储马氏链的浅显易懂的好例子，其中结合实际问题具体分析是最值得学习的。8 ]% L  w* [) G) e/ l7 p2 w0 m  S
三、基因遗传* }% y: _% m5 D6 n) |( q
& v- z1 }) {6 [" t9 b    用马氏链模型研究遗传过程，关键是建模的过程——即选取系统的状态，这在“随机交配”和“近亲繁殖”中需用不同的设法。  随机交配过程推导的结果是 (p^2, 2pq, q^2) 分布将保持下去，即遗传学中的Hardy-Weinberg平稳定律；然而，近亲繁殖中，得到的转移矩阵发现是一个“吸收链”——即如果近亲结婚的话，若干代繁殖终将变成全是优种/全是劣种，并保持下去。这两个结论（虽然在理想化假设下）与我们之前的认识是很一致的，从中加深了马氏链的理解。
2 s, }6 m/ F4 _. D- G/ S& M四、等级结构
4 @' t' h/ ~; s% h5 H0 d% ~    这个模型是用马氏链研究一个群体中各个个体等级分布变化情况，目标是研究等级分布变化规律，假设总人数不变。然后用某种途径让群体等级分布达到想要的稳定状态。5 c8 h+ A8 k( _/ {. c
) \; a) a3 v* y- V- U7 o    重点在于变量的设置，以及还是状态设置、模型建立过程。  建模过后，先用“调入比例”这一现实中可控的量进行稳定控制，其中有“稳定域”的构造、分析。 然后是具体如何用调入比例，进行动态调节，实则转化为了一步步优化问题，动态调节的过程是一步接一步的，有重复循环的操作规律。这里也很好地体现了马氏链的“离散”特性，以及给编程创造了机会。  V+ _5 \+ N$ s4 A0 t9 B5 n
8 O0 X1 C( I3 @: d* m2 [五、资金流通
    基本与等级结构一样，一系列推导最后总结出步骤，先判断稳定能否达到，若能达到，则由公式算出每年应如何投放资金。  与等级模型不同在于：各地区资金进出可正可负；所有地区资金总和可以变化。3 _, \& N2 Q!
, C( E( ]6 u% W) y# c1 X% D2 G
8 F8 A$ E. S) [0 B4 R# a