指数分布族

指数族分布是一大类分布，基本形式为：

分布函数框架中的h(x),η(θ),T(x)和A(θ)并非任意定义的，每一部分都有其特殊的意义。
θ是天然参数(natural parameter)，一般是一个实数；
h(x)是底层观测值（underlying measure）；
T(x)是充分统计量（sufficient statistic）；
A(θ)被称为对数规则化（log normalizer）。
---------------------

T(x)是x的充分统计量（能为相应分布提供足够信息的统计量）

为了知足归一化条件，有：

能够看出，当T(x)=x时，e^A(theta)是h(x)的拉普拉斯变换。

 指数族分布的例子：

伯努利分布转换成指数族分布形式：

 单变量高斯分布的：

多变量高斯分布的：

 

A（theta）的一阶导：

A（theta）的二阶导：

说明A（theta）是凸函数

 

计算log likehood，而后对theta求导，可得

而A的二次导时大于零的，因此A的一次导是增函数，上述方程最多只有一个解。

 

共轭先验：

似然估计：

咱们但愿：

好比：

一些例子：