背景：
首次使用bert做query和documents的 排序工作。
做排序的通用方法：
构建一个分类模型，目标是该doc是否与query相关，预测的结果用于排序，也就是说分类模型得到的是排序文档的候选集。但相比于pairwiese和listwise，这种方式做排序没有考虑doc之间的相关性。
这篇论文，提出TFR-BERT，通用的doc排序方法。用TF预训练了一个query-doc对的bert模型。
TFR-BERT
构建query - doc对，这样每一个query跟doc作为两个句子，拼接一起，如下：
[CLS] query text [SEP] passage text [SEP]
举个例子 ：
[CLS] 阿里晋升 [SEP] 4月30号，阿里公布晋升结果和调薪情况 [SEP]
Bert的pooled输出结果作为rank 模型的输入，这样就构建了TF-Ranking模型。这个框架提供了pointwise、pairwise、listwise loss，这样能跟别的LTR方法做比较。
这里有两个概念：
passage re-ranking task:对于每一个query，通过BM25从所有page中 选出top1000，然后再重排序，找出跟query最相关的page。
passage full-ranking task: 从8千万page中直接诶排序，选出出最相关的doc。（如何保证性能？）
五个实验：
1和2是从loss上做优化，3是将召回和排序做ensemble，，4和5主要是模型的ensemble。
1.re-ranking, TF-Ranking + BERT, softmax loss。
2.(re-ranking): TF-Ranking + BERT (Ensemble of pointwise, pairwise and listwise losses)
3. (full ranking): DeepCT Retrieval + TF-Ranking BERT Ensemble
4. (re-ranking): TF-Ranking Ensemble of BERT, RoBERTa and ELECTRA
5. (full ranking): DeepCT + TF-Ranking Ensemble of BERT, RoBERTa and ELECTRA
实验结果显示：
re-rank:
1.从loss作为变量，进行对比，loss ensemble的效果最好。
2.从模型角度，ensemble的模型效果最好，不过不是太显著。
读后，就觉得好像没啥用呢…只是打比赛能看看，很难应用到工作中。