随机过程03：随机过程基本概念

目录

• 随机过程基本概念
  • 随机过程的定义
  • 随机过程的几率分布
  • 随机过程的数字特征
  • 特殊随机过程

随机过程基本概念

随机过程的定义

随机过程是一族随机变量，主要用于描述随时间变化的随机现象。

假设 \((\Omega,\,\mathscr{F},\,P)\) 是几率空间，\(T\) 为指标集，\(\varepsilon\) 为点集，称一族随机变量 \(X(\omega,\,t):\Omega\to\varepsilon,\,t\in T\) 为随机过程，记做\(\boldsymbol X=(X(t),\,t\in T)\) 。其中，称 \(T\) 为时间参数空间，称 \(\varepsilon\) 为状态空间。有时将时间 \(t\) 做为下标，记做 \(X_t\) 。

这样的定义未免有些抽象，能够简单理解为：一个随机过程 \(\boldsymbol X=\left(X(t),\,t\in T\right)\) 是一族随机变量，即对指标集 \(T\) 中的每一个 \(t\) ，\(X(t)\) 是一个随机变量，其含义为过程在 \(t\) 时刻的状态。

任给一个 \(\omega\in \Omega\) ，\(X(\omega,\,\cdot)\) 是 \(T\to\varepsilon\) 上的函数，称为随机过程的样本轨道或样本曲线。咱们能够理解为：样本曲线是随机过程在 \(T\) 上的一次观测结果。

根据参数空间 \(T\) 和状态空间 \(\varepsilon\) 的不一样类别，咱们能够将随机过程分为如下四种状况：离散时间离散状态、离散时间连续状态、连续时间离散状态、连续时间连续状态。

随机过程的几率分布

随机过程是一族随机变量，所以随机过程也存在它的几率分布。以 \(\varepsilon=\mathbb{R},\,T=(-\infty,\infty)\) 为例，咱们首先来介绍随机过程的有限维分布 。

• \(1\) 维分布：任给 \(t\in T\) ，\(X(t)\) 的分布函数为：

\[F_t(x)=P\big(X(t)\leq x\big) \ . \]

• \(2\) 维分布：任给 \(s,\,t\in T\) ，\(\big(X(s),\,X(t)\big)\) 的联合分布函数为：

\[F_{s,\,t}(x,\,y)=P\big(X(s)\leq x,\,X(t)\leq y\big) \ . \]

• \(k\) 维分布：任给 \(t_1,t_2,\cdots,t_k\in T\) ，\(\big(X(t_1),X(t_2),\cdots,X(t_k)\big)\) 的联合分布函数为：

\[F_{t_1,t_2,\cdots,t_k}(x_1,x_2,\cdots,x_k)=P\big(X(t_1)\leq x_1,X(t_2)\leq x_2,\cdots,X(t_k)\leq x_k\big) \ . \]

随机过程 \(\boldsymbol X\) 的几率分布能够经过它的全部有限维分布函数族来描述：

\[\left\{F_{t_1,t_2,\cdots,t_n}(x_1,x_2,\cdots,x_n)\bigg|n=1,2,\cdots;\,t_i\in T,\,i=1,2,\cdots,n\right\} \ , \]

它彻底肯定了随机过程的统计特性。

通常来讲，具体给出一个随机过程的任意有限维分布并不容易计算。对于某些特殊状况，咱们能够用其余方法计算。

• 若是 \(\big(X(t_1),X(t_2)-X(t_1),\cdots,X(t_k)-X(t_{k-1})\big)\) 的联合分布已知，则能够经过线性变化的方法计算 \(\big(X(t_1),X(t_2),\cdots,X(t_k)\big)\) 的联合分布。

  对 \(k\geq1,\,t_1<t_2<\cdots<t_k\) 有

\[\left\{ \begin{array}{l} X(t_1)=X(t_1) \ , \\ X(t_2)=X(t_1)+X(t_2)-X(t_1) \ , \\ \cdots\cdots\cdots\cdots \\ X(t_k)=X(t_1)+X(t_2)-X(t_1)+\cdots+X(t_k)-X(t_{k-1}) \ . \end{array} \right. \]

• 若是在给定 \(X(t_1),X(t_2),\cdots,X(t_{k-1})\) 的条件下，\(X(t_k)\) 的分布是已知的，则 \(\big(X(t_1),X(t_2),\cdots,X(t_k)\big)\) 的联合分布能够经过条件几率的链式法则获得。

  假设 \(t_1<t_2<\cdots<t_k\) ，任意给定 \(x_1,x_2,\cdots,x_k\in\mathbb{R}\) ，记 \(A_k=\{X(t_k)=x_k\}\) ，则有

\[\begin{aligned} P\big(X(t_1)=x_1,X(t_2)=x_2,\cdots,X(t_k)=x_k\big)&=P(A_1A_2\cdots A_k) \\ &=P(A_1)P(A_2|A_1)\cdots P(A_k|A_1A_2\cdots A_{k-1}) \ . \end{aligned} \]

随机过程的数字特征

类比于随机变量，咱们一样很难彻底掌握一个随机过程的几率分布，所以咱们须要引入某些数字特征来反映随机过程的主要性质。通常地，随机过程的数字特征是定义在时间参数空间上的函数。

均值函数

假设对每个 \(t\in T\) ，\({\rm E}|X(t)|<\infty\) ，则称

\[\mu_X(t)={\rm E}[X(t)] \ , \ \ \ \ t\in T \]

为随机过程 \(\boldsymbol X\) 的均值函数。

方差函数

假设对每个 \(t\in T\) ，\({\rm E}\left[X(t)\right]^2<\infty\) ，则称

\[\sigma_X^2(t)={\rm Var}(X(t)) \ , \ \ \ \ t\in T \]

为随机过程 \(\boldsymbol X\) 的方差函数。

自相关函数

对 \(s,\,t\in T\) ，定义

\[r_X(s,\,t) ={\rm E}(X(s)X(t)) \ , \ \ \ \ s,\,t\in T \ , \]

称 \(r_X(s,\,t)\) 为随机过程 \(\boldsymbol X\) 的自相关函数。

自协方差函数

对 \(s,\,t\in T\) ，定义

\[C_X(s,\,t) ={\rm Cov}\big(X(s),X(t)\big)=r_X(s,\,t)-\mu_X(s)\mu_X(t) \ , \ \ \ \ s,\,t\in T \ , \]

称 \(C_X(s,\,t)\) 为随机过程 \(\boldsymbol X\) 的自协方差函数。

互相关函数

对于两个随机过程 \(\boldsymbol X\) 和 \(\boldsymbol Y\) ，对每个 \(t\in T\) 都有 \({\rm E}\left[X(t)\right]^2<\infty\) ，\({\rm E}\left[Y(t)\right]^2<\infty\) ，定义

\[r_{X,Y}(s,\,t)={\rm E}\big(X(s)Y(t)\big) \ , \ \ \ \ s,\,t\in T \ , \]

称 \(r_{X,Y}(s,\,t)\) 为随机过程 \(\boldsymbol X\) 和 \(\boldsymbol Y\) 的互相关函数。

特殊随机过程

二阶矩过程

对于随机过程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，若是对每个 \(t\in T\) ，\({\rm E}[X(t)]^2\) 都存在，则称随机过程 \(\boldsymbol X\) 是一个二阶矩过程。

二阶矩从的均值函数、方差函数、自相关函数和自协方差函数老是存在的。

正态过程

对于随机过程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，若是其任意有限维分布为联合正态分布，则称随机过程 \(X\) 为正态过程或高斯过程。

正态过程是二阶矩过程，它的有限维分布彻底由它的均值函数和自协方差函数肯定。

宽平稳过程

对于随机过程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，对每个 \(t\in T\) ，都有 \({\rm E}[X(t)]^2<\infty\) 。若是知足条件：

1. 均值函数为常数，即 \(\mu_X(t)\equiv\mu \ , \ \ t\in T\) ；
2. 自相关函数仅与时间差有关，即 \(r_X(s,\,t)=\tau_X(s-t) \ , \ \ s,\,t\in T\) ，

则称随机过程 \(X\) 为宽平稳过程或弱平稳过程。

严平稳过程

对于随机过程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，若是对任意 \(k\geq1\) 和 \(t_1,t_2,\cdots,t_k\in T\) 以及 \(t\in T\) 都有

\[\big(X(t_1+t),X(t_2+t),\cdots,X(t_k+t)\big)\xlongequal{d}\big(X(t_1),X(t_2),\cdots,X(t_k)\big) \ , \]

则称随机过程 \(X\) 为严平稳过程或强平稳过程。

严平稳指的是随机过程的有限维分布具备平移不变性。

若是严平稳过程的二阶矩存在且有限，那么它必定是宽平稳过程，反之则不必定。

若是宽平稳过程是正态过程，那么它必定是严平稳过程。

平稳增量过程

对于随机过程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，若是 \(X(t)-X(s)\) 的分布仅依赖与时间差 \(t-s\) ，而与 \(s\) 和 \(t\) 无关，则称随机过程 \(\boldsymbol X\) 是独立增量过程。

平稳增量的含义是，随机过程在任意两点间的值的变化的分布只依赖这两点间的距离。

独立增量过程

对于随机过程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，若是对任意 \(k\geq1\) 和 \(t_1<t_2<\cdots<t_k\) ，增量

\[X(t_1),X(t_2)-X(t_1),\cdots,X(t_k)-X(t_{k-1})​ \]

是相互独立的，则称随机过程 \(\boldsymbol X\) 是独立增量过程。

独立增量的含义是，随机过程在没有重叠的时间区间上的值的变化都相互独立。

若是随机过程 \(\boldsymbol X\) 既是平稳增量过程，又是独立增量过程，则称随机过程 \(\boldsymbol X\) 是平稳独立增量过程。

白噪声

设 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) 是零均值随机过程，若是对任意 \(s\neq t\) 都有 \(r_X(s,\,t)=0\) ，则称随机过程 \(\boldsymbol X\) 是白噪声。