09第五章连续时间马尔可夫链(课堂PPT).ppt

第五章：连续时间的马尔可夫链定义5.1：设随机过程{X(t),t≥0}，状态空间I={in,n≥0}，若对任意0≤t1<t2<…<tn＋1及i1,i2,…,in+1∈I，有定义：若pij(s,t)的转移概率与s无关，则称连续时间马尔可夫链具有平稳的或齐次的转移概率，此时转移概率简记为其转移概率矩阵简记为时间轴一个连续时间的马尔可夫链，每当它进入状态i，具有如下性质：在转移到另一状态之前处于状态i的时间服从参数为vi的指数分布；当过程离开状态i时，接着以概率pij进入状态j，对于指数分布的随机变量X定理5.1：齐次马尔可夫过程的转移概率具有下列性质：证明定义5.3对于任一t≥0，记定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：例题5.1：证明:泊松过程{X(t)}为连续时间齐次马尔可夫链。(1)先证明马氏性(2)再证明齐次性Q矩阵和柯尔莫哥洛夫方程定理5.3设pij(t)是齐次马尔可夫过程的转移概率且满足正则性条件，则下列极限存在：称为转移速率或跳跃强度若连续时间齐次马尔可夫链是具有有限状态空间I={1,2,…,n}，则其转移速率可构成以下形式的矩阵定理5.4（柯尔莫哥洛夫向后方程）假设，则对一切i,j及t≥0，有两边除以h，取极限可以得到：定理5.5（柯尔莫哥洛夫向前方程）在适当的正则条件下，则对一切i,j及t≥0，有柯尔莫哥洛夫向后和向前方程的矩阵表达形式为柯尔莫哥洛夫向后方程的矩阵表达形式为例题5.2考虑两个状态的连续时间马尔可夫链，在转移到状态1之前在状态0停留的时间是参数为λ的指数变量，而在回到状态0之前它停留在状态1的时间是参数为的指数分布，求转移概率P00(t),P01(t),P10(t),P11(t)。Kolmogorov向后和向前方程所求得的解pij(t)是相同的定理5.6齐次马尔可夫过程在t时刻处于状态j∈I的绝对概率pj(t)满足下列方程转移概率pij(t)在t→∞时的性质及其平稳分布关系例题5.3：机器维修问题设例题5.2中状态0代表某机器正常工作，状态1代表机器出故障。状态转移概率与例题5.2相同，即在h时间内，及其从正常工作变为出故障的概率为p01(h)=λh+o(h)；在h时间内，机器从有故障变为经修复后正常工作的概率为p10(h)=h+o(h)，试求在t=0时正常工作的机器，在t=5时为正常工作的概率。5.3生灭过程