BIC信息

BIC信息

 1,$AIC$信息准则

 1971年，日本统计学家$H.Akaike$在研究信息论特别是在解决时间序列定阶问题中提出了赤池信息准则$（Akaike's Information Criterion AIC),$其定义如下，

$$AIC = -2lnL(\hat \theta |y)+2N \tag 1$$
 其中， $L(\hat \theta |y)$为模型的极大似然函数， $N$为模型独立参数的格式。赤池认为，当从一组可供选择的模型中，选出 $AIC$最小的模型是比较可取的。当两模型差异较大时，则主要体现在模型的极大似然函数上，当两个模型的差异不明显时，则选择模型参数较少的模型，这可以看做是采用了最小限度的假定这一“吝啬之原理”。

 2,$BIC$准则

 $AIC$准则有其缺陷。当样本很大时，$AIC$信息准则中左一项很大，使得模型参数个数对$AIC$的贡献很小，进而对于大样本的情况，$AIC$失效。为此，$Schwarz$提出$BIC$准则，其公式如下：

$$AIC = -2lnL(\hat \theta |y)+Nlnn \tag 2$$
 其中， $n$为样本数，与 $AIC$信息准则相比， $BIC$的右边第2项用 $lnn$代替了2，即在考虑模型参数个数时， $BIC$与 $AIC$的惩罚力度更大。