机器学习——马尔可夫模型及马尔可夫决策过程（MDP）

一、马尔可夫模型 1. 马尔可夫链 设表示随机变量X在离散时间t时刻的取值。若该变量随时间变化的转移概率仅依赖于它的当前值，即： 也就是时候状态转移概率指依赖于前一个状态，称这个变量为马尔可夫变量，其中 为随机变量X可能的状态，这个性质称为马尔可夫性质，具有马尔可夫性质的随机过程称为马尔可夫过程。 马尔可夫链是满足马尔可夫性质的随机过程，指在一段时间内随机变量X的取值序列（）满足上述性质 2、转移

>>阅读原文<<