BERT如何应用在不同NLP任务中以及对于BERT的反思
reference：Bert时代的创新（应用篇）：Bert在NLP各领域的应用进展
1.question answering问答系统中所需的答案在文本中，所以在NLP基础模型技术有较大提升时，此类问题收益较大。更偏向语义匹配。
2.Information Retrieval信息检索任务中同样做的是Query和给定文本的匹配任务，但是IR更加偏向文本匹配，重视长文本，并可能需要文本外的额外信息。
QA，IR在使用BERT时模型是相似的，都是先试用BM25等文本匹配检索文档并返回TopK个文档，在使用BERT的深层语言处理能力进行进一步处理
3.Chatbot聊天机器人分为单轮对话与多轮对话
单轮对话：要对用户的意图进行分类，并抽取文本中的关键元素。相对简单
多轮对话：需要加入历史信息，对下一句话的提升效果比较明显。但是使用BERT进行生成式的任务仍然效果一般
4.文本摘要分成
生成式：用哪个BERT初始化Encoder，但是双向的BERT无法初始化Decoder。因为生成的句子方向应为从左至右，而BERT为双向的，所以效果并不好
抽取式：模型比较简单，用BERT初始化Encoder-decoder。但是难点在于如何把输入输出与模型匹配。因为文本摘要是一段话。如何把要提取的目标句子标记出来是难点。
5.NLP中的数据增强
结论是，在NLP中使用数据增强时，把增强的数据与原始数据混合使用进行多次训练效果更好
6.文本分类，序列标注等问题，比较重视表层特征，BERT重视深层语义特征，所以在这些问题上提升效果不明显。
7.NLP问题的重构
由于BERT更加擅长处理句子间的语义/关系判断，而对单句分类和处理比较拉胯，我们需要学习转化问题。思考如何把单句问题转化成句子间问题。一种方法是增加虚拟句子，配对成句子对在进行训练。
8.启发点
BERT强于处理句子间任务，是因为在BERT预训练过程中加入了辅助任务next sentence prediction。这使得BERT在判断句子间深层语义关系的时候更加得心应手。进而在处理句子间任务的时候很强。那么当下一代基础模型出现时，我们要分析其在训练时的训练任务侧重于那些特征，进而基于这些特征进行思考和改进！