马氏链模型

longde

马氏链模型
: k$ ^- g$ v5 U+ A2 E7 c
基本概念2 V$ M8 Y" m' Q5 J5 _9 A
5 H' j; {  E- V7 Z( ?: E8 |    这一章介绍了处理离散随机过程的重要工具——马氏链模型，及若干个应用。总体从浅到深，阐述了马氏链的主要思想。
- i3 I& K/ y0 g. m; p1. 无后效性/Markov性： 系统在每个时期所处的状态时随机的，这个时期到下个时期状态按照一定概率进行转移，且下个时期状态只取决于 1）这个时期状态 2）转移概率，与以前各时期状态无关。+ H& h- b- d+ [- I8 K. z
2 ^( Q! b  ^: O2. 马氏链（Markov Chain）模型通常描述： 已知现在，将来与历史无关，具有无后效性的，时间状态均离散的随即转移过程。
3. 一些确定性系统的状态转移问题也能用马氏链处理。2 \* U7 L3 T5 R  ^! W: t
% e. G% t% A( `7 l; C; {  f" q7 q, V8 G8 |( s- R6 G& y$ W! `
. w; p6 q, F. r一、健康与疾病; a8 S& ~; m* w# x, w7 f- V# M% n
    主要介绍马氏链基本概念、要素： 系统的状态，状态概率，转移概率，马氏链基本方程，状态概率向量，转移概率矩阵。本章讨论时齐的（转移概率与时段n无关）马氏链。
$ V! a/ R( G. I+ {7 V, T! Y6 v    同时介绍2种主要类型——: j- Z9 k* h) c" N9 s  c  l" u
' s0 D' w9 D$ ^: W5 D2 T    1）正则链：从任意状态出发，经过有限次转移都能达到另外的任意状态（如何判断是正则链、相应定理）；; L2 s* h4 p  }- D3 e/ ]7 r+ X
$ m1 x6 S" o9 Z5 z8 `9 O2 W1 r; s+ K    2）吸收链：首先引入吸收状态，顾名思义吧，就是某个状态的转移概率=1，即进了这个状态就出不来了，被“吸收”掉。  吸收链是（至少）存在一个吸收状态，使马氏链从每个费吸收状态出发，能有限次到某个吸收状态。! S0 I0 S9 a9 W& C$ J3 d
! b5 G/ A' f; h6 V) Q二、钢琴销售的存贮策略8 a  Q3 ]& N+ R/ f
+ U' b" F3 Y2 s7 s$ G7 p$ d$ v    动态随机存贮。一个简化的存贮模型，关键是从中理解状态变量、需求量、转移矩阵的设置和求解。 判断转移矩阵P为正则链后，用公式求出稳态概率分布w，就是达到稳态后的情况，然后用全概率公式算出失去销售机会的可能性。 这个模型虽然简单，但却是动态存储马氏链的浅显易懂的好例子，其中结合实际问题具体分析是最值得学习的。8 ]% L  w* [) G) e/ l7 p2 w0 m  S
三、基因遗传* }% y: _% m5 D6 n) |( q
% ]- `  V% v" [9 \/ O    用马氏链模型研究遗传过程，关键是建模的过程——即选取系统的状态，这在“随机交配”和“近亲繁殖”中需用不同的设法。  随机交配过程推导的结果是 (p^2, 2pq, q^2) 分布将保持下去，即遗传学中的Hardy-Weinberg平稳定律；然而，近亲繁殖中，得到的转移矩阵发现是一个“吸收链”——即如果近亲结婚的话，若干代繁殖终将变成全是优种/全是劣种，并保持下去。这两个结论（虽然在理想化假设下）与我们之前的认识是很一致的，从中加深了马氏链的理解。
四、等级结构
$ P. q- I: O2 c5 l& x    这个模型是用马氏链研究一个群体中各个个体等级分布变化情况，目标是研究等级分布变化规律，假设总人数不变。然后用某种途径让群体等级分布达到想要的稳定状态。5 c8 h+ A8 k( _/ {. c
7 x$ b4 W) v- T/ a. k5 Z8 w5 K: I$ L    重点在于变量的设置，以及还是状态设置、模型建立过程。  建模过后，先用“调入比例”这一现实中可控的量进行稳定控制，其中有“稳定域”的构造、分析。 然后是具体如何用调入比例，进行动态调节，实则转化为了一步步优化问题，动态调节的过程是一步接一步的，有重复循环的操作规律。这里也很好地体现了马氏链的“离散”特性，以及给编程创造了机会。  V+ _5 \+ N$ s4 A0 t9 B5 n
  X, g5 u6 \! @. j# g7 K0 x' [五、资金流通
    基本与等级结构一样，一系列推导最后总结出步骤，先判断稳定能否达到，若能达到，则由公式算出每年应如何投放资金。  与等级模型不同在于：各地区资金进出可正可负；所有地区资金总和可以变化。3 _, \& N2 Q!
& N  w& a7 ?& ?6 p( f