马氏链模型

longde

马氏链模型
# a: K! B; k$ [/ j$ Q5 J  c* f
; y# |8 N3 A! m0 U; J& x基本概念2 V$ M8 Y" m' Q5 J5 _9 A
    这一章介绍了处理离散随机过程的重要工具——马氏链模型，及若干个应用。总体从浅到深，阐述了马氏链的主要思想。
: R- P! f1 y  ^# K+ c+ H1. 无后效性/Markov性： 系统在每个时期所处的状态时随机的，这个时期到下个时期状态按照一定概率进行转移，且下个时期状态只取决于 1）这个时期状态 2）转移概率，与以前各时期状态无关。+ H& h- b- d+ [- I8 K. z
2. 马氏链（Markov Chain）模型通常描述： 已知现在，将来与历史无关，具有无后效性的，时间状态均离散的随即转移过程。
3. 一些确定性系统的状态转移问题也能用马氏链处理。2 \* U7 L3 T5 R  ^! W: t
7 q, V8 G8 |( s- R6 G& y$ W! `
4 T- u+ c) q) M$ B2 u1 ^一、健康与疾病; a8 S& ~; m* w# x, w7 f- V# M% n
. c& P+ U2 @1 k    主要介绍马氏链基本概念、要素： 系统的状态，状态概率，转移概率，马氏链基本方程，状态概率向量，转移概率矩阵。本章讨论时齐的（转移概率与时段n无关）马氏链。
    同时介绍2种主要类型——: j- Z9 k* h) c" N9 s  c  l" u
( ]* K5 }1 B+ A/ F# \* f0 B0 H9 [    1）正则链：从任意状态出发，经过有限次转移都能达到另外的任意状态（如何判断是正则链、相应定理）；; L2 s* h4 p  }- D3 e/ ]7 r+ X
    2）吸收链：首先引入吸收状态，顾名思义吧，就是某个状态的转移概率=1，即进了这个状态就出不来了，被“吸收”掉。  吸收链是（至少）存在一个吸收状态，使马氏链从每个费吸收状态出发，能有限次到某个吸收状态。! S0 I0 S9 a9 W& C$ J3 d
( D- u* O5 l6 s# U二、钢琴销售的存贮策略8 a  Q3 ]& N+ R/ f
    动态随机存贮。一个简化的存贮模型，关键是从中理解状态变量、需求量、转移矩阵的设置和求解。 判断转移矩阵P为正则链后，用公式求出稳态概率分布w，就是达到稳态后的情况，然后用全概率公式算出失去销售机会的可能性。 这个模型虽然简单，但却是动态存储马氏链的浅显易懂的好例子，其中结合实际问题具体分析是最值得学习的。8 ]% L  w* [) G) e/ l7 p2 w0 m  S
* a4 a, ^* ?# q; r三、基因遗传* }% y: _% m5 D6 n) |( q
! i3 _, O+ H9 I    用马氏链模型研究遗传过程，关键是建模的过程——即选取系统的状态，这在“随机交配”和“近亲繁殖”中需用不同的设法。  随机交配过程推导的结果是 (p^2, 2pq, q^2) 分布将保持下去，即遗传学中的Hardy-Weinberg平稳定律；然而，近亲繁殖中，得到的转移矩阵发现是一个“吸收链”——即如果近亲结婚的话，若干代繁殖终将变成全是优种/全是劣种，并保持下去。这两个结论（虽然在理想化假设下）与我们之前的认识是很一致的，从中加深了马氏链的理解。
四、等级结构
    这个模型是用马氏链研究一个群体中各个个体等级分布变化情况，目标是研究等级分布变化规律，假设总人数不变。然后用某种途径让群体等级分布达到想要的稳定状态。5 c8 h+ A8 k( _/ {. c
    重点在于变量的设置，以及还是状态设置、模型建立过程。  建模过后，先用“调入比例”这一现实中可控的量进行稳定控制，其中有“稳定域”的构造、分析。 然后是具体如何用调入比例，进行动态调节，实则转化为了一步步优化问题，动态调节的过程是一步接一步的，有重复循环的操作规律。这里也很好地体现了马氏链的“离散”特性，以及给编程创造了机会。  V+ _5 \+ N$ s4 A0 t9 B5 n
五、资金流通
: @; z$ u8 g5 }! s, h8 j    基本与等级结构一样，一系列推导最后总结出步骤，先判断稳定能否达到，若能达到，则由公式算出每年应如何投放资金。  与等级模型不同在于：各地区资金进出可正可负；所有地区资金总和可以变化。3 _, \& N2 Q!
; k2 V4 s" w! T5 i  I/ y0 X  H