[经验分享] 【统计小百科】你知道AIC准则么？

  AIC信息准则即Akaike information criterion，是衡量统计模型拟合优良性的一种标准，又由与它为日本统计学家赤池弘次创立和发展的，所以又称赤池信息量准则。它创建在熵的概念基础上，能够权衡所估计模型的复杂度和此模型拟合数据的优良性。

       在通常的状况下，AIC能够表示为： AIC=2k-2ln(L)，其中：k是参数的数量，L是似然函数。 假设条件是模型的偏差服从独立正态分布。 让n为观察数，RSS为剩余平方和，那么AIC变为： AIC=2k+nln(RSS/n)。

       增长自由参数的数目提升了拟合的优良性，AIC鼓励数据拟合的优良性可是尽可能避免出现过分拟合(Overfitting)的状况。因此优先考虑的模型应是AIC值最小的那一个。赤池信息准则的方法是寻找能够最好地解释数据但包含最少自由参数的模型。

       常常地，对一堆数据进行建模的时候，特别是分类和回归模型，咱们有不少的变量可供使用，选择不一样的变量组合能够获得不一样的模型，例如咱们有5个变量，2的5次方，咱们将有32个变量组合，能够训练出32个模型。可是哪一个模型更加的好呢？目前经常使用有以下方法：
AIC=-2 ln(L) + 2 k  中文名字：赤池信息量 akaike information criterion
BIC=-2 ln(L) + ln(n)*k 中文名字：贝叶斯信息量 bayesian information criterion
HQ=-2 ln(L) + ln(ln(n))*k  hannan-quinn criterion

       构造这些统计量所遵循的统计思想是一致的，就是在考虑拟合残差的同时，依自变量个数施加“惩罚”。但，假若所以就说它们是同一个指标，恐怕仍是有些不妥，毕竟“惩罚”的力度仍是不尽相同的。此外，这些信息量的用途不只限于选择模型，还能用于选取合适的变换等等。而在那些时候，这些信息量又是另外一个模样，也就是说它们有许多变体。所以，它们也被称为AIC准则、BIC准则等等。它们中的每个体现的都是一系列的标准，而非单独的一个简单式子。

       注意这些规则只是刻画了用某个模型以后相对“真实模型”的信息损失（由于不知道真正的模型是什么样子，因此训练获得的全部模型都只是真实模型的一个近似模型），因此用这些规则不能说明某个模型的精确度，即三个模型A, B, C，在经过这些规则计算后，咱们知道B模型是三个模型中最好的，可是不能保证B这个模型就可以很好地刻画数据，由于颇有可能这三个模型都是很是糟糕的，B只是烂苹果中的相对好的苹果而已。

       这些规则理论上是比较漂亮的，可是实际在模型选择中应用起来仍是有些困难的，例如上面咱们说了5个变量就有32个变量组合，若是是10个变量呢？2的10次方，咱们不可能对全部这些模型进行一一验证AIC, BIC，HQ规则来选择模型，工做量太大。

 

 

由于AIC和BIC通常为负值 也就是绝对值越大 负得越多越好 你能够查一下AIC和BIC的计算公式 通常都是分为两个部分 一部分是度量拟合效果，另外一部分是对参数个数增长的惩罚