贝叶斯决策论

贝叶斯决策论也叫作贝叶斯断定准则，英文是 Bayes decision rule。

它核心思想是：指望风险最小化能够转化为后验分布最大化

指望风险的公式是：
\[R_{exp}(f) = E[L(Y,f(X))] = \int_{x \times y} L(y,f(x))P(x,y) dxdy\]其中\(L\)是损失函数，\(P(x,y)\)是\(x\)和\(y\)的联合几率分布。

损失函数取0-1损失：
\[L(Y,f(X))= \left\{ \begin{aligned} 0, & \ \ f(X)=Y \\ 1, & \ f(X) \neq Y \end{aligned} \right.\]

能够将指望风险函数转化，将上面的Y用条件几率展开：
\[R_{exp}(f) = E_X \sum_{k=1}^{K} [L(c_k,f(X))] P(c_k |X)\]这里\(c_k\)是\(y\)能够取得的各类值.

为了使得整体的风险最小，那么要使得每个取值\(X=x\)的损失最小，结合0-1损失可得：
\[\begin{align*} f(x) &= \arg \min \limits_y \sum_{k=1}^{K} L(c_k,y) P(c_k |X=x) \\ & =\arg \min \limits_y \sum_{k=1}^{K}P(y \neq c_k|X = x) \\ & =\arg \min \limits_y (1-P(y = c_k|X = x)) \\ & = \arg \max \limits_y P(y = c_k|X = x) \end{align*}\]

这样，指望风险最小化就转化为后验几率最大化：
\[f(x) = \arg \max \limits_{c_k} P(c_k|X = x)\]
这样咱们能够从后验几率最大化的角度来对模型进行分析，直接建模来求解\(P(c|x)\)的模型叫作判别式模型，直接对联合几率\(P(c,x)\)进行建模，而后求解\(P(c|x)\)的模型叫作生成式模型。

参考：李航《统计学习方法》