Markov 随机过程

马尔可夫链

引言

本文主要讲解马尔可夫链以及隐马尔科夫链的相关知识

第一节 离散马尔可夫模型

考虑在每个时间段有一个值的随机过程。令\(X_n\)表示它在时间段\(n\)的值，假设咱们要对一些列相继的值\(X_0, X_1, X_2,···\) 创建几率模型。令 \(\{X_n, n=0,1,2, ···\}\) 是有限个值或可数个值的随机过程， 这个随机过程的可能值的集合记为非负整数集合 \(\{0,1,2,···\}\) 即在任意时刻\(X_i\in\{0,1,2,···\}\), 若是在时刻\(t\), \(X_n = i\),那么称该过程在\(t\)时刻在状态\(i\),咱们假设只要过程在状态 \(i\)， 就有一个固定的几率 \(P_{i,j}\) 使得它在下一个状态在 \(j\) 。即咱们假设对于一切状态 \(i_0, i_1, i_2,···, i_{n-1}, i, j\) 与一切 \(n \geq 0\) ，有

\[P\{X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},···,X_1=i_1,X_0=i_0\}=P\{X_{n+1}=j|X_{n}=i\}=P_{i,j} \tag{1.1} \]

这样的随机过程叫作马尔可夫链。
\(P_{i,j}\) 表示过程处于 \(i\) 时下一次转移到状态 \(j\) 的几率。因为几率都是非负，而且过程必需要转移到某一个状态，所以有：

\(P_{i,j}\geq0, i,j\geq0\);       \(\sum_{j}^{\infty}P_{ij}=1, i=0,1,···\)
##举个例子
（天气预报） 假设明天下雨的机会只依赖于前一天的天气条件，即今天是否下雨只依赖昨天是否下雨，这里状态集就是 \(S=\{下雨，不下雨\}\) 为了方便，咱们能够把下雨记为 \(0\) ，不下雨记为 \(1\) 即状态集为： \(S=\{0,1\}\) 若是今天下雨，那么明天下雨的几率为 \(0.7\) 若是今天不下雨，那么明天下雨的几率为 \(0.6\) 。这样咱们能够定义一个转移矩阵\(P\) :

\[ P= \left[ \begin{matrix} 0.7 & 0.3 \\ 0.6 & 0.4 \end{matrix} \right] \tag{1.2} \]

从这个转移矩阵中咱们能够很容易的看出\(P_{0,0}=0.7, P_{0,1}=0.3,···\)

第二节 C-K方程

咱们已经定义了一步转移几率\(P_{i,j}\).如今咱们定义\(n\)步转移几率 \(P_{i,j}^{n}\) ,即处于状态 \(i\) 的过程将在 \(n\) 次转移以后处于状态 \(j\) 的几率,即:
\[ P_{ij}^{n} = P\{X_{n+k}=j|X_k=i\}, n\geq0, i,j \geq 0 \]

C-K方程（查普曼-科尔莫格罗夫方程)提供了计算 \(n\) 步转移几率的一个方法.这些方程是:
\[P_{ij}^{n+m}=\sum_{k=0}^{\infty}P_{ik}^{n}P_{kj}^{m} \ \ \ \ 对于一切\ \ \ \ n, m \geq 0, 一切i,j \tag{2.1}\]
其具体推导过程以下：

\[ \begin{split} P_{ij}^{n+m}=P\{X_{n+m}=j|X_0=i\}=\sum_{k=0}^{\infty}P\{X_{n+m}=j,X_n=k|X_0=i\} = \sum_{k=0}^{\infty}P\{X_{n+m}=j|X_n=k,X_0=i\}=\sum_{k=0}^{\infty}P_{kj}^{m}P_{ik}^{n} \end{split} \]
这个很容易理解,只要注意到 \(P_{ik}^{n}P_{kj}^{m}\) 表示，经过一条第 \(n\) 次转移处于状态 \(k\) 的通道，开始处在状态 \(i\) 的过程通过\(n+m\)次转移至状态\(j\)的几率。所以对于全部的中间状态求和就获得这个过程在\(n+m\)次转移后处于状态\(j\)的几率。
(例) 在假设今天下雨而明天不下雨的几率是 \(0.7\) , 今天不下雨而明天下雨的几率是 \(0.4\)
, 假设今天下雨,计算从今天开始的第 \(4\) 天下雨的几率.

解
一步转移几率矩阵为:
\[ P= \left[ \begin{matrix} 0.7 & 0.3 \\ 0.6 & 0.4 \end{matrix} \right] \]
所以
\[ P^{(2)} = P^2 = \left[ \begin{matrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{matrix} \right] \left[ \begin{matrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{matrix} \right] = \left[ \begin{matrix} 0.61 & 0.39 \\ 0.52 & 0.48 \end{matrix} \right] \]

\[ \begin{split} P^{(4)} = (P^2)^{2} = \left[ \begin{matrix} 0.5749 & 0.39 \\ 0.5668 & 0.4332 \end{matrix} \right] \end{split} \]
而要求的几率 \(P_{00}^{4}=0.5749\)