马尔科夫链与转移矩阵（转载）

时间 2019-11-21

标签转移矩阵转载栏目应用数学繁體版

原文原文链接

什么是转移几率矩阵(Transition Probability Matrix)php

　　转移几率矩阵：矩阵各元素都是非负的，而且各行元素之和等于1，各元素用几率表示，在必定条件下是互相转移的，故称为转移几率矩阵。如用于市场决策时，矩阵中的元素是市场或顾客的保留、得到或失去的几率。P^(k)表示k步转移几率矩阵。数组

转移几率矩阵的特征

　　转移几率矩阵有如下特征：函数

　　①,0≤P_ij≤1spa

　　② $\sum^{n}_{j-1}P_i j=1$ ，即矩阵中每一行转移几率之和等于1。事件

转移几率矩阵的分析

　　所谓矩阵，是指许多个数组成的一个数表。每一个数称为矩阵的元素。矩阵的表示方法是用括号将矩阵中的元素括起来，以表示它是一个总体。如Ａ就是一个矩阵。get

　　 $A=\begin{bmatrix} a_{11},a_{12}\cdots & a_{1n} \\ \bullet \bullet & \bullet \\ \bullet \bullet & \bullet\\ \bullet \bullet & \bullet\\ a_{21},a_{22}\cdots & a_{2n}\\ a_{m1},a_{m2}\cdots & a_{mn}\end{bmatrix}$

　　这是一个由m行n列的数构成的矩阵，表示位于矩阵中第i行与第j列交叉点上的元素，矩阵中的行数与列数能够相等，也能够不等。当它们相等时，矩阵就是一个方阵。it

　　由转移几率组成的矩阵就是转移几率矩阵。也就是说构成转移几率矩阵的元素是一个个的转移几率。io

　　 $R=\begin{bmatrix} P_{11},P_{12}\cdots & P_{1n} \\ \bullet \bullet & \bullet \\ \bullet \bullet & \bullet\\ \bullet \bullet & \bullet\\ P_{21},P_{22}\cdots & P_{2n}\\ P_{m1},P_{m2}\cdots & P_{mn}\end{bmatrix}$

转移几率与转移几率矩阵^[1]

　　假定某大学有1万学生，每人每个月用1支牙膏，而且只使用“中华”牙膏与“黑妹”牙膏二者之一。根据本月（12月）调查，有3000人使用黑妹牙膏，7000人使用中华牙膏。又据调查,使用黑妹牙膏的3000人中，有60％的人下月将继续使用黑妹牙膏，40％的人将改用中华牙膏；使用中华牙膏的7000人中，有70％的人下月将继续使用中华牙膏，30％的人将改用黑妹牙膏。据此，能够获得如表－1所示的统计表。table

　　　　　　　　　表－1 两种牙膏之间的转移几率方法

拟用	黑妹牙膏	中华牙膏
现用
黑妹牙膏	60％	40％
中华牙膏	30％	70％

　　上表中的4个几率就称为状态的转移几率，而这四个转移几率组成的矩阵

　　 $B=\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}$

　　称为转移几率矩阵。能够看出，转移几率矩阵的一个特色是其各行元素之和为１。在本例中，其经济意义是：如今使用某种牙膏的人中，未来使用各类品牌牙膏的人数百分比之和为1。

　　2．用转移几率矩阵预测市场占有率的变化

　　有了转移几率矩阵，就能够预测，到下个月（１月份）使用黑妹牙膏和中华牙膏的人数，计算过程以下：

　　 $(3000.7000) \begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix} =(3900,6100)$

　　即：1月份使用黑妹牙膏的人数将为3900，而使用中华牙膏的人数将为6100。

　　假定转移几率矩阵不变，还能够继续预测到2月份的状况为：

　　 $(3900,6100)\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}$

　　 $=(3000,7000)\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}$

　　 $=(3000,7000)\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}^2=(4170,5830)$

　　这里 $\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}^2$ 称为二步转移矩阵，也即由12月份的状况经过2步转移到2月份的状况。二步转移几率矩阵正好是一步转移几率矩阵的平方。通常地， k步转移几率矩阵

　　正好是一步转移几率矩阵的k次方。能够证实，k步转移几率矩阵中,各行元素之和也都为1。

转移几率矩阵案例分析

案例一: 用转移几率矩阵预测市场占有率的变化^[1]

　　有了转移几率矩阵，就能够预测，到下个月（１月份）使用黑妹牙膏和中华牙膏的人数，计算过程以下：

　　 $(3000,7000)\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}=(3900,6100)$

　　即：1月份使用黑妹牙膏的人数将为3900，而使用中华牙膏的人数将为6100。假定转移几率矩阵不变，还能够继续预测到2月份的状况为：

　　 $(3900,6100)\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}$

　　= $(3000,7000)\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}$

　　= $(3000,7000)\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}^2$

　　=(4170,5830)

　　这里 $\begin{bmatrix}60% & 40%\\30% & 70%\end{bmatrix}^2$

　　称为二步转移矩阵，也即由１２月份的状况经过２步转移到2月份的状况。二步转移几率矩阵正好是一步转移几率矩阵的平方。通常地， k步转移几率矩阵正好是一步转移几率矩阵的k次方。能够证实，k步转移几率矩阵中,各行元素之和也都为1。

什么是转移几率

　　转移几率是马尔可夫链中的重要概念，若马氏链分为m个状态组成，历史资料转化为由这m个状态所组成的序列。从任意一个状态出发，通过任意一次转移，必然出现状态一、二、……，m中的一个，这种状态之间的转移称为转移几率。

　　当样本中状态m可能发生转移的总次数为i，而由状态m到将来任一时刻转为状态a_i的次数时，则在m+n时刻转移到将来任一时刻状态a_j的转移几率为：

$P_{ij}(m,m+n)=P\left\{X_m+n = a_j|X_m=a_i \right\}$

　　这些转移移几率能够排成一个的转移几率矩阵：P(m,m+n)(P_ij(m,m+ n))

　　当m=1时为一阶转几率矩阵， $m\ge2$ 时为高阶几率转移矩阵，有了几率转移矩阵，就获得了状态之间经一步和多步转移的规律，这些规律就是贷款状态间演变规律的表，当初始状态已知时，能够查表作出不一样时期的预测。

什么是马尔可夫过程

　　一、马尔可夫性(无后效性)

　　过程或（系统）在时刻t₀所处的状态为已知的条件下，过程在时刻t > t₀所处状态的条件分布，与过程在时刻t₀以前处的状态无关的特性称为马尔可夫性或无后效性。

　　即：已知过程“如今”的状况，过程“未来”的状况与“过去”的状况是无关的。

　　二、马尔可夫过程的定义

　　具备马尔可夫性的随机过程称为马尔可夫过程。

　　用分布函数表述马尔可夫过程：

　　设I：随机过程{X(t),t\in T}的状态空间，若是对时间t的任意n个数值:

　　 $P{X(t_n)\le x_n|X(t_1)=x_1,X(t_2)=x_2,\cdots ,X(t_{n-1})=x_{n-1}}$ （注：X(t_n)在条件X(t_i) = x_i下的条件分布函数）

　　 $=P{X(t_n\le x_n|X(t_{n-1})=x_{n-1}},x_n\in R$ (注：X(t_n))在条件X(t_{n − 1}) = x_{n − 1}下的条件分布函数）

　　或写成：

　　 $F_{t_n|t_1\cdots t_{n-1}}(x_n,t_n|x_1,x_2,\cdots,x_{n-1};t_1,t_2,\cdots,t_{n-1})$

　　 $F_{t_n|t_{n-1}}(x_n,t_n|x_{n-1},t_{n-1})$

　　这时称过程 $X(t),t\in T$ 具马尔可夫性或无后性，并称此过程为马尔可夫过程。

　　三、马尔可夫链的定义

　　时间和状态都是离散的马尔可夫过程称为马尔可夫链, 简记为 ${X_n=X(n),n=0,1,2,\cdots}$ 。

[编辑]

马尔可夫过程的几率分布

　　研究时间和状态都是离散的随机序列: ${X_n=X(n),n=0,1,2,\cdots}$ ,状态空间为 $I={a_1,a_2,\cdots},a_i\in R$

　　一、用分布律描述马尔可夫性

　　对任意的正整数n,r和 $0\le t_1<t_2<\cdots <t_r<m;t_i,m,n+m\in T_i$ ，有：

　　 $P{X_{m+n}=a_j|X_{t_1}=a_{i_1},X_{t_2}=a_{i_2},\cdots,X_{t_r}=a_{i_r},X_m=a_i}$

　　PX_{m + n} = a_j | X_m = a_i，其中 $a_i\in I$ 。

　　二、转移几率

　　称条件几率P_ij(m,m + n) = PX_{m + n} = a_j | X_m = a_i为马氏链在时刻m处于状态a_i条件下，在时刻m+n转移到状态a_j的转移几率。

　　说明：转移几率具胡特色：

　　 $\sum_{j=1}^\infty P_{ij}(m,m+n)=1,i=1,2,\cdots$ 。

　　由转移几率组成的矩阵称为马氏链的转移几率矩阵。它是随机矩阵。

　　三、平稳性

　　当转移几率P_ij(m,m + n)只与i,j及时间间距n有关时，称转移几率具备平稳性。同时也称些链是齐次的或时齐的。

　　此时，记P_ij(m,m + n) = P_ij(n),P_ij(n) = PX_{m + n} = a_j | X_m = a_i(注：称为马氏链的n步转移几率)

　　P(n) = (P_ij(n))为n步转移几率矩阵。

　　特别的, 当 k=1 时,

　　一步转移几率：P_ij = P_ij(1) = PX_{m + 1} = a_j | X_m = a_i。

　　一步转移几率矩阵：P(1)

[编辑]

马尔可夫过程的应用举例

　　设任意相继的两天中，雨天转晴天的几率为1/3，晴天转雨天的几率为1/2，任一天晴或雨是互为逆事件。以0表示晴天状态，以1表示雨天状态，X_n表示第n天状态（0或1）。试定出马氏链 $X_n,n\ge 1$ 的一步转移几率矩阵。又已知5月1日为晴天，问5月3日为晴天，5月5日为雨天的几率各等于多少？

　　解：因为任一天晴或雨是互为逆事件且雨天转晴天的几率为1/3，晴天转雨天的几率为1/2，故一步转移几率和一步转移几率矩阵分别为：

　　 $P{X_n=j|X_{n-1}=i}=\begin{cases}\frac{1}{3},i=1,j=0\\\frac{2}{3},i=1,j=1\\\frac{1}{2},i=0,j=0\\\frac{1}{2},i=0,j=1\end{cases}$

　　故5月1日为晴天，5月3日为晴天的几率为：

　　 $P_{00}(2)=\frac{5}{12}=0.4167$

　　又因为：

　　故5月1日为晴天，5月5日为雨天的几率为：P₀₁(4) = 0.5995　　