贝叶斯推断

贝叶斯推断

贝叶斯模型观点：参数模型 q(x;θ) $q(x;\theta )$ 中的参数 θ $\theta$ 是被确定的变量(deterministic variable)。

贝叶斯预测分布

训练样本是 D={xi}ni=1 $\mathcal{D}=\{x_i{\}}_{i=1}^n$ , p(θ|D) $p(\theta |\mathcal{D})$ 是给定训练样本 D $\mathcal{D}$ 的条件下参数 θ $\theta$ 的后验概率(posterior probability of parameter θ $\theta$) , p(θ) $p(\theta )$ 是未观测到训练样本 D $\mathcal{D}$ 时， θ $\theta$ 的先验概率(prior propability).

• 有似然(likelihood)：
  
  p(D|θ)=∏i=1nq(xi|θ)(1) $$\begin{array}{}\text{(1)}& p(\mathcal{D}|\theta )=\underset{i=1}{\overset{n}{\prod }}q(x_i|\theta )\end{array}$$
  
  其中参数模型 q(x|θ) $q(x|\theta )$ 作为条件概率。

[注：因为参数被确定，即认为是已知条件，所以模型是条件概率的形式]。

• 有联合概率：
  
  p(D,θ)=p(D|θ)p(θ)(2) $$\begin{array}{}\text{(2)}& p(\mathcal{D},\theta )=p(\mathcal{D}|\theta )p(\theta )\end{array}$$

• 参数 D $D$ 的边缘分布：
  

  p(D)=∫p(D,θ)dθ(3) $$\begin{array}{}\text{(3)}& p(\mathcal{D})=\int p(\mathcal{D},\theta )d\theta \end{array}$$
  
  带入得：
  
  p(D)=∫(∏i=1nq(xi|θ))p(θ)dθ(4) $$\begin{array}{}\text{(4)}& p(\mathcal{D})=\int \left(\underset{i=1}{\overset{n}{\prod }}q(x_i|\theta )\right)p(\theta )d\theta \end{array}$$

• 贝叶斯推断的解(Bayesian predictive distribution)
  P^(Bayes)(x) ${\hat{P}}_{\left(Bayes\right)}(x)$ ，是参数模型
  q(x|θ) $q(x|\theta )$ 在整个后验分布 p(θ|D) $p(\theta |\mathcal{D})$ 上的期望：
  

  P^(Bayes)(x)=∫q(x|θ)p(θ|D)dθ(5) $$\begin{array}{}\text{(5)}& {\hat{P}}_{\left(Bayes\right)}(x)=\int q(x|\theta )p(\theta |\mathcal{D})d\theta \end{array}$$

• 由贝叶斯定理：
  

  p(θ|D)=p(D|θ)p(θ)p(D)==p(D|θ)p(θ)p(D)=∏ni=1q(xi|θ)p(θ)∫∏ni=1q(xi|θ)p(D)=∏ni=1q(xi|θ)p(θ)∫∏ni=1q(xi|θD)