【文本匹配】交互型模型

杨利霞

【文本匹配】交互型模型

表示型的文本匹配模型存在两大问题：（1）对各文本抽取的仅仅是最后的语义向量，其中的信息损失难以衡量；（2）缺乏对文本pair间词法、句法信息的比较
9 A/ h" L8 M7 Q9 n
0 p- \# k3 N4 d; ]. ]' j* G而交互型的文本匹配模型通过尽早在文本pair间进行信息交互，能够改善上述问题。

, w1 }% a' R1 K! A基于交互的匹配模型的基本结构包括：

（1）嵌入层，即文本细粒度的嵌入表示；
( H# o* Y& r" `: t+ t; L4 e0 v
（2）编码层，在嵌入表示的基础上进一步编码；
: X; h' ~1 K  H+ M" b3 Y
4 U2 C) R8 p, i  l% x（3）匹配层：将文本对的编码层输出进行交互、对比，得到各文本强化后的向量表征，或者直接得到统一的向量表征；

（4）融合层：对匹配层输出向量进一步压缩、融合；
0 V9 p2 p# z6 e9 y* s+ t( z
（5）预测层：基于文本对融合后的向量进行文本关系的预测。
* R9 S# f" C/ X) O5 n, x$ o  }

+ a2 W: D! {/ n. S- v* e
/ w6 M% a3 x. F; u( `: z$ a" I1. ARC-II
( q/ O! W) b" C; U6 |7 Q0 mARC-II模型是和表示型模型ARC-I模型在同一篇论文中提出的姊妹模型，采用pair-wise ranking loss的目标函数。
" g$ N- o: q5 ~  v
1 ]/ K+ T% H/ |- p+ }! {) v6 @  [其核心结构为匹配层的设计：
% X+ h- o$ K( s5 [
' C8 G  a# ]8 e9 }: e（1）对文本pair的n-gram Embedding结果进行拼接，然后利用1-D CNN得到文本S_X中任一token i和文本S_Y中任一token j的交互张量元素M_{ij}。该操作既然考虑了n-gram滑动窗口对于local信息的捕捉，也通过拼接实现了文本pair间低层级的交互。

! {, D3 b. R2 t/ j8 B( A（2）对交互张量进行堆叠的global max-pooling和2D-CNN操作，从而扩大感受野。
. x4 D4 p" a3 Z2 W6 h
2. PairCNN
PairCNN并没有选择在Embedding后直接进行query-doc间的交互，而是首先通过TextCNN的方式分别得到query和doc的向量表征，然后通过一个中间Matrix对query和doc向量进行交互得到pair的相似度向量，然后将query的向量表征、doc的向量表征、相似度向量以及其它的特征向量进行拼接，最后经过两层的MPL得到最后的二分类向量。

( E+ d9 e. o' o! d! x& n" PPairCNN的模型架构中的亮点在于各View向量的拼接，既能利用原始的语义向量，还能够很便捷的融入外部特征。
+ ^% |; Z9 }+ n* t) |
8 r, E# O% x! o: o3. MatchPyramid
9 I2 m. Q$ j0 P0 Z$ Z无论是ARC-II中的n-gram拼接+1D conv还是Pair-CNN中的中间Matrix虽然均通过运算最终达到了信息交互的作用，但其定义还不够显式和明确，MatchPyramid借鉴图像卷积网络的思想，更加显式的定义了细粒度交互的过程。
9 U1 ~' c* _5 w( x, U4 A1 e+ }MatchPyramid通过两文本各token embedding间的直接交互构造出匹配矩阵，然后将其视为图片进行2D卷积和2D池化，最后Flatten接MLP计算得匹配分数。本文共提出了三种匹配矩阵的构造方式：

（1）Indicator：0-1型，即一样的token取1，否则取0；这种做法无法涵盖同义多词的情况；
: h! v3 L9 R3 a$ s! Z. k
（2）Cosine：即词向量的夹角余弦；
$ P* l! X9 `) z% v7 i5 u3 Z5 X
7 z0 F# K- A, m6 _（3）Dot Product：即词向量的内积
* X8 z4 y/ M/ s: g3 _$ q
此外值得注意的是因为各个文本pair中句子长度的不一致，本文并没有采用padding到max-lenght的惯用做法，而是采用了更灵活的动态池化层，以保证MPL层参数个数的固定。
6 Z' _1 Y, _! q( a
4. DecAtt
DecAtt将注意力机制引入到交互型文本匹配模型中，从而得到各token信息交互后增强后的向量表征。
  b# H0 j3 i" |3 |
5 f! ?4 x: }+ m1 k模型被概括为如下层级模块：

（1）Attend层：文章提供了两种注意力方案，分别为文本间的cross-attention，以及各文本内的intra-attention。具体而言，分别采用前向网络F和F_{intra}对文本token embedding进行编码，然后通过F(x)F(y)计算cross-attention的score，以及F_{intra}(x)F_{intra}(y)计算self-attention的score。然后利用softmax将attention score进行归一化，再对各token embedding进行加权平均，得到当前query token处的增强表征，最后与原始token embedding进行拼接计为attend后的最终embedding。
# \- }8 L# ~% {/ g- X3 A( o# `9 R
; p; r. K7 \4 Z+ h1 x% H（2）Compare层：将前序Attend层计算得到的最终embedding，喂入一个全连接层进行向量维度的压缩。
% @! F+ H7 ]. Y0 f
5 O* O8 y) W7 @（3）Aggregate层：将每个文本各token处压缩后的向量进行简单的求和，再拼接起来通过MPL得到最后的匹配得分。
! E3 J& @7 R" D$ A# A; \$ m
6 a' l( E# p  t4 E/ C9 f! j( A5. CompAgg
CompAgg详细对比了在文本间cross-attention得到的各token向量表征与原始token向量进行compare的各种方案。

该模型的主要结构包括：
/ k# k9 R+ j' K' l9 u1 W
' e" ~# ?7 G/ W' }: l4 I（1）reprocessing层：采用类似于LSTM/GRU的神经网络得到token的深层表示（图中的\bar a_i）；
' e; A) B/ Y8 d' y% M% y4 z% @
& V2 H0 W0 A! \& t+ J（2）Attention层：利用软注意力机制计算文本间的cross-attention（与DecAtt相同），从而得到各token处交互后的向量表示（图中的h_i）；
9 ~1 c6 ^- T2 A8 K: p* N+ J
（3）Comparison层：通过各种网络结构或计算将\bar a_i和h_i计算求得各token的最终表征。
4 K" i6 A' @- [$ g* o# L4 w: M3 [
（4）Aggregation层：利用CNN网络对Comparison层的输出进行计算，得到最后的匹配得分。
, E( f6 O4 _* H
  q. o3 T$ a8 F" a其中Comparison层的构造方式包括：

（1）矩阵乘法，类似于Pair-CNN中的中间Matrix
: m. N! L7 T8 Z2 n( x
（2）前向神经网络，即将\bar a_i和h_i进行拼接，然后利用输入FFN；

（3）分别计算cosine和欧式距离，然后拼接；
9 @7 A  x' f4 \6 m% B0 ^
（4）各维度进行减法；
( J! W) R$ y, q$ p2 j; C% @
% J. L7 V$ T+ |: o, ?- M（5）各维度进行乘法；

（6）各维度进行减法和乘法，然后再接一个前向网络。

6. ABCNN
/ o3 |6 U# S, O  z9 ]ABCNN是将Attention机制作用于BCNN架构的文本匹配模型。
0 @- c; g8 R2 M% h4 _1 |, V2 s
6.1 BCNN
首先简单介绍下BCNN架构：

BCNN的整体结构比较简单：（1）输入层；（2）卷积层，因为采用了反卷积的形式，所以在size上会增加；

* ]. c, m' F0 L6 J（3）池化层，采用了两种池化模式，在模型开始阶段采用的是local平均池化，在最后句子向量的抽取时采用了global平均池化；（4）预测层，句子向量拼接后采用LR得到最后的匹配得分。

/ G1 x1 r) k4 w- b3 S* Z! {ABCNN共包括三种变形，下面依次介绍。

+ V; a6 Z9 u1 W& T9 Q# _6.2 ABCNN

& }: I  H7 r+ M/ k; \ABCNN-1直接将Attention机制作用于word embedding层，得到phrase 级的词向量表示。区别于CompAgg中的软注意力机制，ABCNN-1直接基于下式得到注意力矩阵： A i j = 1 1 + ∣ x i − y j ∣ A_{ij}=\frac{1}{1+|x_i-y_j|} A
ij
+ S! L( r: t7 t8 @+ N  L​       
1 N$ W$ d, x# H8 l8 `( Z =
3 k- p5 W( F% X$ }: L8 x4 T8 W1+∣x
/ Q' [3 h$ ~: v" R, `- i7 [i
​       
−y
j
6 l9 Z1 v: L* B( l  ~5 h. U​       
; R5 c! [; P$ n' o ∣
4 B# O9 k+ C8 A* Y+ |1
) Q6 J) J7 Y1 O3 u. [0 A: G​       
0 H) H* d5 E5 x1 h2 d ，然后分别乘以可学习的权重矩阵 W 0 W_0 W
# z, y7 x& y) `% O8 v0
* y! |0 L) n  e​       
4 G. i* L$ I& J- Q 和 W 1 W_1 W
1
​       
2 k' A2 L, {+ O1 ` 得到attetion feature map。

6.3 ABCNN-2

ABCNN-2将Attention机制作用于word embedding层后的反卷积层的输出结果，其中注意力矩阵的计算原理与ABCNN-1一致。然后将注意力矩阵沿着row和col的方向分别求和，分别代表着各文本token的attention socre；接着将反卷积层的输出结果与attention socre进行加权平均池化，得到与输入层相同shape的特征图。

6.4 ABCNN-3

3 B* F9 M3 W) b7 t! SABCNN-3的基本模块可视为ABCNN-1和ABCNN-2的堆叠，即在嵌入层和卷积层上面都引入了attention的机制用来增强对token向量的表示。
) U# |3 w) m" V( Y; d
7 b) H( t$ i/ \7. ESIM
: D" D5 P$ ?2 L2 C+ A: V+ BESIM模型基于NLI任务给出了一种强有力的交互型匹配方法。其采用了BiLSTM和Tree-LSTM分别对文本序列和文本解析树进行编码，其亮点在于：

（1）匹配层定义了cross-attention得到各token的向量表示与原token向量间的详细交互关系，即采用 [ a ˉ , a ^ , a ˉ − a ^ , a ˉ ∗ a ^ ] [\bar a, \hat a,\bar a-\hat a,\bar a* \hat a] [
a
. g/ l" v) I2 t. {6 x* Eˉ
,
' D; P, r! O, m) C" p, sa
^
6 _+ U4 g. ?5 w5 _* v1 G: k$ M$ Q3 f ,
( }; d! E! V8 {4 x, D  ]+ b2 Va
6 D/ V/ c: `  ?7 `- K0 E3 nˉ
−
a
^
,
a
ˉ
∗
a
% W) H! `! g! k^
) e0 E) |0 X8 ?4 [$ f8 [. R, \- Y ]作为最终文本token的向量表示，这也成为后续文本匹配模型的惯用做法。

（2）聚合层通过BiLSTM得到各文本token的编码，从而进一步增强了文本序列的信息传递；
: S" E' i9 ~# o: S
: g( ]5 b! y4 U1 R9 E（3）预测层通过拼接各文本token编码的max-pooling和mean-pooling结果，再经过MPL进行匹配预测。
) K# X5 M4 O. m8 X0 R$ O' J& f3 e
$ N( c: Y7 {* L

8. Bimpm
Bimpm可视为对之前各类交互型文本匹配模型的一次总结。

该模型在各层的具体做法总结如下：
4 V& Y5 r+ t9 s' W1 r" O, y7 ]+ A1 T
（1）编码层采用BiLSTM得到每个token隐层的向量表示；

- w' |  t! v! _+ Z* E! [（2）匹配层遵循 m k = c o s i n e ( W k ∗ v 1 , W k ∗ v 2 ) m_k=cosine(W_k*v_1,W_k*v_2) m
4 |2 l1 D& r+ B- X1 ~k
​       
; `: D) b) o# o# s$ x9 f9 R' m =cosine(W
k
​       
∗v
/ l6 K! F  D4 P+ l1
1 G' q7 ^; v0 z; _# L​       
) s5 m: z4 ^7 G& V# Q ,W
) Y0 k. d% x' |k
5 R; L5 E/ O. {& \. D4 \​       
! U8 n7 u/ h7 m% H$ \; n/ E ∗v
) @+ Y5 N) ~2 v, r! ]2
​       
)的方式可以得到两个文本的任意token pair之间在第k个view下的匹配关系，至于 v 1 v_1 v
1
​       
0 L9 C. t% N& V 和 v 2 v_2 v
9 x* a, U' J. D$ _$ c! V+ q2
1 V: h. |8 C& f: K( K​       
/ M  K0 a/ ^  u4 p" F4 q, m 如何取，文章提供了4种策略：
9 X: L- w  x7 n; A4 j& o
9 e1 R  z* G% ?+ |策略一：其中一个句子取各token隐层的向量表示，另一个句子采用隐层最后时间步处的输出；
策略二：其中一个句子取各token隐层的向量表示，另一个句子采用隐层各时间步输出与之匹配后取再取Max-Pooling值；
策略三：其中一个句子取各token隐层的向量表示，另一个句子采用cross-attentive后得到的加权句子向量；
) W- E/ Y5 i6 d2 L, {- r6 l策略四：其中一个句子取各token隐层的向量表示，另一个句子采用cross-attentive后attention score最高处token的向量作为句子向量。
这四种策略的区别在于对句子向量的计算不同。

' Y0 c  d' }/ h+ s: l' Q: W/ A
! Y$ C: [0 Y- z5 }. s6 n3 A( y9 H（3）聚合层，首先对上面各种策略得到的输出层再通过一层BiLSTM层，然后将各策略下最后时间步的输出进行拼接，得到最后的聚合向量；
* q. }. c' d/ r* L9 l8 j
（4）预测层：两层MPL+softmax
& K4 o' h3 B7 C, z7 v
9. HCAN
HCAN是除Bert类模型外在文本匹配领域表现最为优异的深度模型之一，其采用了较为复杂的模型结构。

* [& q# U- [6 W  [, ~针对于信息抽取问题，文章首先分析了相关性匹配和语义匹配的差异：
4 B4 T# x2 e4 D  t# f
/ [& m) T. x+ i. A/ F（1）相关性匹配主要关注于关键词的对比，因此更关注低层级词法、语法结构层面的匹配性；

（2）语义匹配代表着文本的平均意义，因此其关注更高、更丑想的语义层面的匹配性。
! O8 V  y0 Y7 i
该模型首先采用三类混合的编码器对query和context进行编码：

- W; F1 V( i" w（1）深层相同卷积核大小的CNN编码器；

（2）不同卷积核大小的CNN编码器的并行编码；

（3）沿着时序方向的stacked BiLSTM编码；
0 z8 t- r. N/ m% [: Z8 r2 z4 R
对于前两者，通过控制卷积核的大小可以更好的捕捉词法和句法特征，即符合相关性匹配的目的；而对于后者，其能表征更长距离的文本意义，满足语义匹配的目的。
/ s5 ]: e* T8 r  N! g
在这三类编码器的编码结果基础上，模型分别进行了相关性匹配和语义匹配操作。其中相关性匹配主要采用各phrase间内积+max pooling/mean pooling的方式获取相关性特征，并通过IDF指进行各phrase的权重调整。而在语义匹配中，模型采用了精心设计的co-attention机制，并最终通过BiLSTM层输出结果。
9 o0 f' @# Q4 l4 U! }
$ n4 A& p0 q/ x1 n' F, u5 p最后的预测层仍采用MPL+softmax进行预测。

2 g8 [  u* q, o2 V10. 小结
交互型语言匹配模型由于引入各种花式attention，其模型的精细度和复杂度普遍强于表示型语言模型。交互型语言匹配模型通过尽早让文本进行交互（可以发生在Embedding和/或Encoding之后）实现了词法、句法层面信息的匹配，因此其效果也普遍较表示型语言模型更好。
9 \9 J0 [3 z3 l! H
【Reference】
8 {5 [1 k- C0 j) b- r  s5 _
; `2 w8 J3 K3 W8 O$ SARC-II: Convolutional Neural Network Architectures for Matching Natural Language Sentences
* N" `$ g4 C6 u. a
PairCNN: Learning to Rank Short Text Pairs with Convolutional Deep Neural Networks

! P$ a2 d( H3 S( S7 J2 l% K3 C9 TMatchPyramid: Text Matching as Image Recognition

; ?# {$ i/ F6 x/ q4 L' ?/ _DecAtt: A Decomposable Attention Model for Natural Language Inference
) I8 k! T/ t/ u6 `* F) `, E
CompAgg: A Compare-Aggregate Model for Matching Text Sequences

8 r6 m  S8 o! a7 W6 cABCNN: ABCNN: Attention-Based Convolutional Neural Network
for Modeling Sentence Pairs

2 t8 ?1 I* l  w# F5 W9 nESIM: Enhanced LSTM for Natural Language Inference

  e6 B1 g1 H% S; h6 KBimpm: Bilateral Multi-Perspective Matching for Natural Language Sentences

HCAN: Bridging the Gap Between Relevance Matching and Semantic Matching
# t9 Z! d; Z$ k3 H- ^! F# C+ qfor Short Text Similarity Modeling
- C! }& U5 H2 J& B
( t( _0 N. Q! q/ e% l4 b文本匹配相关方向打卡点总结（数据，场景，论文，开源工具）

谈谈文本匹配和多轮检索

贝壳找房【深度语义匹配模型 】原理篇一：表示型
————————————————
版权声明：本文为CSDN博主「guofei_fly」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
& G5 Q, q. w" |$ z1 q8 ?原文链接：https://blog.csdn.net/guofei_fly/article/details/107501276
" G) {$ |* @5 g

) u2 s7 H$ k. w# K