信息检索 DCG、NDCG、AUC、BM25

1、DCG

例子: 文章库内有4个文章 $d_1$、$d_2$、$d_3$、$d_4$。针对查询Q，每个文档的打分分别为：$d_1=0分$、$d_2=1分$、$d_3=2分$、$d_4=2分$。
查询Q在系统S中返回的结果顺序为: $d_3$、$d_2$、$d_4$、$d_1$。

解：DCG公式为：$DCG_{RF}=\sum \frac{score_i}{log_2{(1+rank_i)}}$
查询的顺序与分数为：$d_3(2分)$、$d_2(1分)$、$d_4(2分)$、$d_1(0分)$
所以 $DCG_{RF}=\frac{2}{log_2{2}} + \frac{1}{log_2{3}} + \frac{2}{log_2{4}} + \frac{0}{log_2{5}} = 4.584$

2、NDCG

例子（同上）: 文章库内有4个文章 $d_1$、$d_2$、$d_3$、$d_4$。针对查询Q，每个文档的打分分别为：$d_1=0分$、$d_2=1分$、$d_3=2分$、$d_4=2分$。
查询Q在系统S中返回的结果顺序为: $d_3$、$d_2$、$d_4$、$d_1$。

解：NDCG公式为：$NDCG=\frac{DCG_{RF}}{IDCG}$
DCG公式为 $DCG_{RF}=\sum \frac{score_i}{log_2{(1+rank_i)}}$
IDCG为Grund Truth即最理想的查询结果: $IDCG=\sum \frac{GT_i}{log_2{(1+rank_i)}}$
查询的顺序与分数为：$d_3(2分)$、$d_2(1分)$、$d_4(2分)$、$d_1(0分)$
所以 $DCG_{RF}=\frac{2}{log_2{2}} + \frac{1}{log_2{3}} + \frac{2}{log_2{4}} + \frac{0}{log_2{5}} = 4.584$
$IDCG=\frac{2}{log_2{2}} + \frac{2}{log_2{3}} + \frac{1}{log_2{4}} + \frac{0}{log_2{5}} = 7.170$
综上: $NDCG=\frac{DCG_{RF}}{IDCG}=\frac{4.584}{7.170}=0.639$

3、ROC与AUC

正确率 $Accuracy=\frac{TP+FN}{TP+TN+FP+FN}$

召回率 $Recall=\frac{TP}{TP+TN}$

精准度 $Precision=\frac{TP}{TP+FP}$

假阳率（ROC曲线X轴） $FPR=\frac{FP}{FP+TN}$

真阳率（ROC曲线Y轴） $TPR=\frac{TP}{TP+FN}$

AUC就是曲线右下部分面积。

4、BM25

BM25公式 $Score(Q, d)=\sum_{i}^{n} W_i * R(Q_i,d)$

其中: Q是Query。$Q_i$ 表示语素(切词后的语素，与词典库对应。如Q=保定驴肉火烧哪家强？ $Q_0$=保定，$Q_1$=驴肉)。$W_i$表示: 语素$Q_i$的权重，通常与TF-IDF排序成正相关。