多轮检索式对话——【ACL 2018】DAM

落日映苍穹つ 2023-01-18 06:45 195阅读 0赞

《Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network》

文本对于context和response语义上的联系更进一步，将 attention 应用于多轮对话，打破之前的 RNN 和 CNN 结构，在多轮上速度快，达到了目前最好效果。其次，本文使用 self-attention 和 cross-attention 来提取 response 和 context 的特征:

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70]

*  Representation  
    主要用到：self-attention 和 cross-attention
    
     *  self-attention：  
        ![在这里插入图片描述][20210501165143924.png]
     *  cross-attention：  
        ![在这里插入图片描述][2021050116524241.png]
 *  Utterance-Response Matching  
    ![在这里插入图片描述][2021050116563233.png]  
    ![在这里插入图片描述][2021050116565097.png]
 *  Aggregation  
    ![在这里插入图片描述][20210501165801404.png]  
    有n句utterance，Q就有有n个切片。对应n个utterance-response对的匹配矩阵, 每一片的尺寸都是(n\_u\_i, n\_r)对应匹配矩阵中每个矩阵的尺寸
    
    最大池的3D卷积的操作是典型的2D卷积的扩展，如图其过滤器和步幅是3D立方体，对于每个切片再进行匹配得分的计算：  
    ![在这里插入图片描述][20210501165926599.png]  
    释然函数：  
    ![在这里插入图片描述][20210501165958843.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70]: /images/20221021/ff7c1a61520240f6bbdcd1437e8350ae.png
[20210501165143924.png]: /images/20221021/0f6fd310964148f286834768ed64f97b.png
[2021050116524241.png]: /images/20221021/7390a27cbcd94c2dad05aa2e837a23ef.png
[2021050116563233.png]: /images/20221021/efdc8b8165a64290be5099fc5b77a616.png
[2021050116565097.png]: /images/20221021/f2cb9311bf4048e6a02581747645cfb3.png
[20210501165801404.png]: /images/20221021/d6dbdd9ee8584291a838cf855c72b33e.png
[20210501165926599.png]: /images/20221021/d476be81edcb4b2598cfc27941cb6bc0.png
[20210501165958843.png]: /images/20221021/66c766086af04aadb782b49f05f7b9b1.png