标题: 【文本匹配】交互型模型 [打印本页] 作者: 杨利霞 时间: 2023-4-13 21:16 标题: 【文本匹配】交互型模型 【文本匹配】交互型模型 + j6 w5 c. w& B- i6 u4 h& W" K ( c( s/ j+ \; X表示型的文本匹配模型存在两大问题:(1)对各文本抽取的仅仅是最后的语义向量,其中的信息损失难以衡量;(2)缺乏对文本pair间词法、句法信息的比较* J9 t7 V% v s8 S
k: l' ]6 F7 _; S
而交互型的文本匹配模型通过尽早在文本pair间进行信息交互,能够改善上述问题。 0 f6 u$ w5 w( F 6 |6 ]. _2 s. [ U. ^6 V' c" M基于交互的匹配模型的基本结构包括:' Y+ o" x' p/ v+ V# r
$ T4 ~. T( m# V5 {% N) p( z
(1)嵌入层,即文本细粒度的嵌入表示;0 n- n* t3 n8 s6 Y7 |, K
% v, F$ J; s. ~1 D/ R
(2)编码层,在嵌入表示的基础上进一步编码;1 x" l; V2 N" h6 q$ m( _% V# r
6 F# y- c k6 B$ L+ I(3)匹配层:将文本对的编码层输出进行交互、对比,得到各文本强化后的向量表征,或者直接得到统一的向量表征; M6 u5 G u1 r8 e# c& P2 Z, D
(4)融合层:对匹配层输出向量进一步压缩、融合;- t0 C U! V. j7 S* G3 A N
" N7 _0 w; L" ]$ e" a% P6 n(5)预测层:基于文本对融合后的向量进行文本关系的预测。; B+ t4 @5 D" D" S. G1 w( \+ r
1 A# ` O W; I1 }+ m) K5 p
! T/ d F3 B0 X2 S 1 y; R! @2 n) Z. j) Z( T1. ARC-II' k4 _+ f% i* G. [' [
ARC-II模型是和表示型模型ARC-I模型在同一篇论文中提出的姊妹模型,采用pair-wise ranking loss的目标函数。 . q! [# b5 O! A+ h/ h0 E! h- t) s8 _2 {$ T) H9 \
其核心结构为匹配层的设计:: _% J; E2 o/ v- H2 Z; v2 L
9 q/ |# d) h& K2 h! K. I
(1)对文本pair的n-gram Embedding结果进行拼接,然后利用1-D CNN得到文本S_X中任一token i和文本S_Y中任一token j的交互张量元素M_{ij}。该操作既然考虑了n-gram滑动窗口对于local信息的捕捉,也通过拼接实现了文本pair间低层级的交互。 ' z( g- U R _$ b$ @+ U) e* S! N% D
(2)对交互张量进行堆叠的global max-pooling和2D-CNN操作,从而扩大感受野。/ I5 P- o {5 X+ _