NLP-文本匹配/语义相似度计算-2019：Poly-encoders【architectures and pre-training strategies for fast and accurate】

「爱情、让人受尽委屈。」 2023-10-03 16:10 15阅读 0赞

## 一、概述 ##

语义相似度计算是信息检索，自动问答中常用的技术。

语义相似度计算通常可以分为表示型和交互型两种类型。

*  表示型模型如DSSM，孪生网络，这类模型可以离线计算doc的编码，在线上运行时只需要编码query，效率很高，但是精度不如交互型模型，
 *  而交互型模型需要在线编码query和doc，当需要比较的doc很多时，效率是非常低的。bert中的句子对任务其实就是一种交互式语义相似度计算模型，句子对任务需要拼接query和doc后一起编码，实际的应用中非常耗时，但仅仅使用bert来分别表示query和doc，然后通过点积或余弦相似度计算query和doc的分数的方法精度又不够。

非官方github ：  
https://github.com/chijames/Poly-Encoder  
https://github.com/sfzhou5678/PolyEncoder

![在这里插入图片描述][476ebc8cd3424d96bafe08af7ee4e509.png]

Poly-encoder 架构可以用于推荐和搜索领域，只要是涉及两个 sequence 的比较的情况，都可以应用 Poly-encoder。  
在速度上优于 cross-encoder, 质量上优于 bi-encoder 。  
可以和 StarSpace （一种 learn-to-rank 模型, 效果好于 FastText 和 SVM）, 以及最近邻库 FAISS 来使用。  
视频讲解地址 https://www.zhihu.com/zvideo/1455299489448202240

--------------------

[BERT在语义相似度计算中的应用（一）][BERT]  
https://developer.aliyun.com/article/971766  
https://blog.csdn.net/qq\_43390809/article/details/113586877  
https://blog.csdn.net/xixiaoyaoww/article/details/108525940  
https://zhuanlan.zhihu.com/p/380867813  
https://blog.csdn.net/choose\_c/article/details/118270484

[476ebc8cd3424d96bafe08af7ee4e509.png]: https://img-blog.csdnimg.cn/476ebc8cd3424d96bafe08af7ee4e509.png
[BERT]: https://www.cnblogs.com/jiangxinyang/p/13662640.html