马氏链模型

longde

马氏链模型

基本概念2 V$ M8 Y" m' Q5 J5 _9 A
    这一章介绍了处理离散随机过程的重要工具——马氏链模型，及若干个应用。总体从浅到深，阐述了马氏链的主要思想。
8 i+ T+ Y, A1 q4 O1. 无后效性/Markov性： 系统在每个时期所处的状态时随机的，这个时期到下个时期状态按照一定概率进行转移，且下个时期状态只取决于 1）这个时期状态 2）转移概率，与以前各时期状态无关。+ H& h- b- d+ [- I8 K. z
2. 马氏链（Markov Chain）模型通常描述： 已知现在，将来与历史无关，具有无后效性的，时间状态均离散的随即转移过程。
+ E4 x& w& K) B5 ^* j: g8 f3. 一些确定性系统的状态转移问题也能用马氏链处理。2 \* U7 L3 T5 R  ^! W: t
7 q, V8 G8 |( s- R6 G& y$ W! `
一、健康与疾病; a8 S& ~; m* w# x, w7 f- V# M% n
9 C2 {2 M" O3 i3 T4 D, X; _. I- z  F    主要介绍马氏链基本概念、要素： 系统的状态，状态概率，转移概率，马氏链基本方程，状态概率向量，转移概率矩阵。本章讨论时齐的（转移概率与时段n无关）马氏链。
1 X8 o+ D( i4 P2 u$ Z2 V    同时介绍2种主要类型——: j- Z9 k* h) c" N9 s  c  l" u
    1）正则链：从任意状态出发，经过有限次转移都能达到另外的任意状态（如何判断是正则链、相应定理）；; L2 s* h4 p  }- D3 e/ ]7 r+ X
2 D; g4 V! {1 \# K    2）吸收链：首先引入吸收状态，顾名思义吧，就是某个状态的转移概率=1，即进了这个状态就出不来了，被“吸收”掉。  吸收链是（至少）存在一个吸收状态，使马氏链从每个费吸收状态出发，能有限次到某个吸收状态。! S0 I0 S9 a9 W& C$ J3 d
2 v5 r* F0 @( [8 j' O$ j二、钢琴销售的存贮策略8 a  Q3 ]& N+ R/ f
    动态随机存贮。一个简化的存贮模型，关键是从中理解状态变量、需求量、转移矩阵的设置和求解。 判断转移矩阵P为正则链后，用公式求出稳态概率分布w，就是达到稳态后的情况，然后用全概率公式算出失去销售机会的可能性。 这个模型虽然简单，但却是动态存储马氏链的浅显易懂的好例子，其中结合实际问题具体分析是最值得学习的。8 ]% L  w* [) G) e/ l7 p2 w0 m  S
三、基因遗传* }% y: _% m5 D6 n) |( q
! l7 W# ~1 K" g: Z3 ^; _. b    用马氏链模型研究遗传过程，关键是建模的过程——即选取系统的状态，这在“随机交配”和“近亲繁殖”中需用不同的设法。  随机交配过程推导的结果是 (p^2, 2pq, q^2) 分布将保持下去，即遗传学中的Hardy-Weinberg平稳定律；然而，近亲繁殖中，得到的转移矩阵发现是一个“吸收链”——即如果近亲结婚的话，若干代繁殖终将变成全是优种/全是劣种，并保持下去。这两个结论（虽然在理想化假设下）与我们之前的认识是很一致的，从中加深了马氏链的理解。
四、等级结构
    这个模型是用马氏链研究一个群体中各个个体等级分布变化情况，目标是研究等级分布变化规律，假设总人数不变。然后用某种途径让群体等级分布达到想要的稳定状态。5 c8 h+ A8 k( _/ {. c
    重点在于变量的设置，以及还是状态设置、模型建立过程。  建模过后，先用“调入比例”这一现实中可控的量进行稳定控制，其中有“稳定域”的构造、分析。 然后是具体如何用调入比例，进行动态调节，实则转化为了一步步优化问题，动态调节的过程是一步接一步的，有重复循环的操作规律。这里也很好地体现了马氏链的“离散”特性，以及给编程创造了机会。  V+ _5 \+ N$ s4 A0 t9 B5 n
9 t  w' N! K, I- \& D/ X4 B$ E3 J/ h0 b五、资金流通
5 e6 F3 s1 f8 G, {    基本与等级结构一样，一系列推导最后总结出步骤，先判断稳定能否达到，若能达到，则由公式算出每年应如何投放资金。  与等级模型不同在于：各地区资金进出可正可负；所有地区资金总和可以变化。3 _, \& N2 Q!