马尔可夫更新过程与半马尔可夫过程

Markov renewal process；semi-Markov process；Markov renewal counting process；

1、定义

【马尔可夫更新过程】表示转移时期和该时期的状态，是一个二维（状态，时间）随机过程； 【半马尔可夫过程】表示任意时刻马尔科夫更新过程的某个状态，是一个由马尔科夫更新过程产生的一维随机过程，其逗留时间是通常分布的，不具备马尔可夫性，未来取决于如今的状态和在该状态已停留的时间。但在各状态转移时刻({Tn,n>=0}是其更新点，或再生点），具备马尔可夫性。

2、几种随机过程之间的区别和联系

【一、马尔可夫过程和半马尔可夫过程的关系】

在马尔可夫过程当中，在每一个状态的逗留时间服从指数分布，因为指数分布的无记忆性，故任一时刻t都是更新点，也就是任一时刻都具备马尔可夫性。可是，半马尔可夫过程当中，在每一个状态的逗留时间是通常分布，所以不是全部时刻都是过程的更新点，而只有状态转移时刻是更新点，因此只有在这些更新点上才具备马尔可夫性。

【二、半马尔可夫过程和连续时间的马尔可夫链的关系】

若是半马尔可夫在各状态的逗留时间都服从指数分布，则获得连续时间马尔可夫链；

P[Xn+1=j，Tn+1-Tn<=t|(X0,T0)，(X1,T1)，...,(Xn=i,Tn)]

=P[Xn+1=j,Tn+1-Tn<=t|Xn=i] （注意，若Tn+1-Tn服从指数分布）

=P[Xn+1=j,|Xn=i] (1-e^-λt) ，（n>=1,t>=0,且i,j属于S）

【三、马尔可夫更新过程和离散时间马尔可夫链的关系】

P[Xn+1=j，Tn+1-Tn<=t|(X0,T0)，(X1,T1)，...,(Xn=i,Tn)] （忽略时间）

=P[Xn+1=j | X0,X1,...,Xn=i]

=P[Xn+1=j |Xn=i]

【四、马尔可夫更新过程和更新过程的关系】

3、马尔可夫更新过程

{X，T}={（Xn,Tn）,n>=0}具备以下性质：

一、X={Xn,n>=0}是状态空间S上的转移矩阵为Q=Q(i,j)的马尔可夫链，且和n无关，即为齐次的。其中Q(i,j)=

二、

马尔可夫更新过程是马尔可夫过程的推广，若是忽略马尔可夫更新过程当中的时间变量，即逗留时间假定为1，则获得离散时间的马尔可夫链。若是半马尔可夫在各状态的逗留时间都服从指数分布，就可获得连续时间马尔可夫链。

马尔可夫更新过程是更新过程的推广。

在马尔可夫更新过程当中，若是在某一状态的逗留时间（独立于下一状态并服从指数分布），则称为马尔可夫过程；若是逗留时间等于单位时间1，则称为马尔科夫链。

1.马尔可夫更新过程

随机变量Xn取值于状态空间S={0，1,2，......}，Tn是取值[0，无穷）的随机变量，而且0=T1<=T2<=...Tn-1<=Tn<=...，则称随机过程{（Xn,Tn）,n>=0}是马尔可夫更新过程，若是对于任意n>=0，j属于S，t>=0知足

P[Xn+1=j,Tn+1-Tn<=t|（X0，T0）,（X1，T1）,...,（Xn，Tn）]

=P[Xn+1=j,Tn+1-Tn<=t|Xn]

上式为“半马尔科夫性”，含义是，已知如今状态Xn，未来状态Xn+1与逗留在当前状态的时间Tn+1-Tn的联合分布与过去的历史X0,T0，X1,T1，...，Xn-1,Tn-1独立。

马尔可夫更新过程是将连续时间马尔科夫的状态逗留时间分布由指数分布推广到通常分布，故马尔可夫更新更新过程当中，序列{Xn，n>=0}只具备半马尔可夫性，即在状态转移时刻{Tn,n>=0}具备马尔可夫性。

二、与马尔可夫更新过程相联系的计数过程 更新过程N(t)是一计数过程，表示到时刻t的更新次数。 用Nk(t)表示guocheng