2020深度文本匹配最新进展：精度、速度我都要

在过去的几年里，信息检索(IR)领域见证了一系列神经排序模型的引入，这些模型多是基于表示或基于交互的，亦或二者的融合。然鹅，模型虽非常有效，尤其是基于 PLMs 的排序模型更是增加了几个数量级的计算成本。
为了在 IR 中协调效率和精度，一系列基于表征学习的后期交互类深度排序模型被一一提出，致力于基于交互范式来计算查询 query 和文档 doc 的相关性。
1 传统做法
传统的 Representation-Based 模型是如下图所示的双塔结构，分别计算 Query 端和 Doc 端的隐层表示，最后选择 Score function（如dot product ， cosine similarity）计算相似度。这种方式由于失去了 Query-Doc 之间的交互，可能会产生语义漂移，精度相对来说不是太高，所以一般用来做向量召回或者粗排[1] 。

本文插图
经典模型：DSSM, SNRM

优点：计算量少， Document 可以离线处理得到其表征。线上运行时，只需要在线计算Query 的隐层表示，而 Doc 的隐层表示可以通过查询得到，非常适合精度要求不高，速度要求较快的场合。
缺点：失去了交互信息，类似于 Word2Vec 的问题，学习出来的是一个静态向量，不同上下文场景下，都是同一个表征。

所以， Representation-Based 模型学习出来的语义表达有局限性，没有考虑上下文的信息。
今天介绍的三篇论文就是针对以上局限进行改进。

DC-BERT 通过解耦问题和文档实现有效的上下文编码。
ColBERT、Poly-encoders 则是在原始的 Representation-Based 模型中增加了弱交互，这种方法既丰富了模型的表达能力，又不会增加太大的计算量，并且 Doc 端还是能够预先处理，保证了在线运行的速度。

2DC-BERT
论文名称：SIGIR 2020 | DC-BERT: Decoupling Question and Document for Efficient Contextual Encoding
arxiv地址：
https://arxiv.org/pdf/2002.12591.pdf
自从预训练语言模型（BERT等）提出，有关开放域 QA 的研究取得了显著改进。目前开放域 QA 的主流方法是 “retrieve and read” 的 pipline 机制。一般通过使用 BERT 模型对retrieve 模块检索出的文档进行 rerank ，选出和问句最相关的 Topk 个文档进行后续 read 分析。 Rerank 的基本操作是将问题和检索到的每个文档进行拼接作为 BERT 的输入，输出相关性 score 。
然鹅，由于每一个问题都需要与 retrieve 模块检索出的每一个文档进行拼接，这需要对大量检索文档进行重编码，非常耗时。
为了解决效率问题， DC-BERT 提出具有双重 BERT 模型的解耦上下文编码框架：在线的 BERT 只对问题进行一次编码，而离线的 BERT 对所有文档进行预编码并缓存它们的编码。 DC-BERT 在文档检索上实现了 10 倍的加速，同时与最先进的开放域 QA 方法相比，保留了大部分(约98%)的 QA 问答性能。