【文本匹配】交互型模型

杨利霞

【文本匹配】交互型模型
/ E8 c$ F* A# M  A/ t4 P, ]- R4 \
* q$ A- V# H7 h# b, I! E- v表示型的文本匹配模型存在两大问题：（1）对各文本抽取的仅仅是最后的语义向量，其中的信息损失难以衡量；（2）缺乏对文本pair间词法、句法信息的比较

而交互型的文本匹配模型通过尽早在文本pair间进行信息交互，能够改善上述问题。

3 X9 y, ~4 U+ i- b' W  E5 j基于交互的匹配模型的基本结构包括：
* t4 V" s; G! S
（1）嵌入层，即文本细粒度的嵌入表示；
- V( h9 m5 B3 G7 I% b
（2）编码层，在嵌入表示的基础上进一步编码；

（3）匹配层：将文本对的编码层输出进行交互、对比，得到各文本强化后的向量表征，或者直接得到统一的向量表征；
, Y& _, Z& B5 j. \; I
（4）融合层：对匹配层输出向量进一步压缩、融合；
3 ^3 S8 @" Z% I5 e; g" L' r0 x
5 O' G' w% m4 h% H9 l+ B（5）预测层：基于文本对融合后的向量进行文本关系的预测。

2 j& t( U: o) @* m1 c7 d/ i- Y
; `$ H. L  G- x" c! e
1. ARC-II
# I5 b0 c; X  V! T6 JARC-II模型是和表示型模型ARC-I模型在同一篇论文中提出的姊妹模型，采用pair-wise ranking loss的目标函数。

其核心结构为匹配层的设计：

- @+ D+ ]! G( f（1）对文本pair的n-gram Embedding结果进行拼接，然后利用1-D CNN得到文本S_X中任一token i和文本S_Y中任一token j的交互张量元素M_{ij}。该操作既然考虑了n-gram滑动窗口对于local信息的捕捉，也通过拼接实现了文本pair间低层级的交互。
* _7 K2 f) Y8 _, w6 C' X9 z
8 ?5 W  W3 T3 f. X! n( g* a（2）对交互张量进行堆叠的global max-pooling和2D-CNN操作，从而扩大感受野。
% B; H3 r7 y" y; p/ l! @
* L$ {8 W, f6 p$ b1 l2. PairCNN
PairCNN并没有选择在Embedding后直接进行query-doc间的交互，而是首先通过TextCNN的方式分别得到query和doc的向量表征，然后通过一个中间Matrix对query和doc向量进行交互得到pair的相似度向量，然后将query的向量表征、doc的向量表征、相似度向量以及其它的特征向量进行拼接，最后经过两层的MPL得到最后的二分类向量。
  L, _% K) |3 b4 l8 Z- x1 ]
PairCNN的模型架构中的亮点在于各View向量的拼接，既能利用原始的语义向量，还能够很便捷的融入外部特征。
# {2 x) L0 W4 G  x4 h5 I
# x4 _6 [; M# d4 I0 J9 V3. MatchPyramid
& @) {- W  n# k- F) G% l$ v* @无论是ARC-II中的n-gram拼接+1D conv还是Pair-CNN中的中间Matrix虽然均通过运算最终达到了信息交互的作用，但其定义还不够显式和明确，MatchPyramid借鉴图像卷积网络的思想，更加显式的定义了细粒度交互的过程。
MatchPyramid通过两文本各token embedding间的直接交互构造出匹配矩阵，然后将其视为图片进行2D卷积和2D池化，最后Flatten接MLP计算得匹配分数。本文共提出了三种匹配矩阵的构造方式：
* ^9 W& W0 j) ^
+ |* {4 p$ p5 q% f/ n8 {（1）Indicator：0-1型，即一样的token取1，否则取0；这种做法无法涵盖同义多词的情况；

' M+ v" O, `! L( m% w+ [（2）Cosine：即词向量的夹角余弦；
. o( t8 P  k- f: h1 L
: {( [- r! o+ U% ?( q5 x（3）Dot Product：即词向量的内积

此外值得注意的是因为各个文本pair中句子长度的不一致，本文并没有采用padding到max-lenght的惯用做法，而是采用了更灵活的动态池化层，以保证MPL层参数个数的固定。
0 j# w' T( v/ I9 u
" K' V, t5 Y& b4. DecAtt
% I  n# c- R# h4 {9 a2 kDecAtt将注意力机制引入到交互型文本匹配模型中，从而得到各token信息交互后增强后的向量表征。
; P: h6 g. h2 W" e! u
# f# B* k1 H* ~# c: ^" {模型被概括为如下层级模块：
" f( B; f6 M% T  v- a
* M# o9 _8 t3 E! e' v: d（1）Attend层：文章提供了两种注意力方案，分别为文本间的cross-attention，以及各文本内的intra-attention。具体而言，分别采用前向网络F和F_{intra}对文本token embedding进行编码，然后通过F(x)F(y)计算cross-attention的score，以及F_{intra}(x)F_{intra}(y)计算self-attention的score。然后利用softmax将attention score进行归一化，再对各token embedding进行加权平均，得到当前query token处的增强表征，最后与原始token embedding进行拼接计为attend后的最终embedding。
3 p: c8 _) y% W8 }! w' K  c# p" K
/ Z& V1 l, p% |（2）Compare层：将前序Attend层计算得到的最终embedding，喂入一个全连接层进行向量维度的压缩。

（3）Aggregate层：将每个文本各token处压缩后的向量进行简单的求和，再拼接起来通过MPL得到最后的匹配得分。
9 N' x& b$ ~' c" ]. I  g
! f; x( n" T1 h" c4 p5. CompAgg
CompAgg详细对比了在文本间cross-attention得到的各token向量表征与原始token向量进行compare的各种方案。

该模型的主要结构包括：

9 O, T, C1 [& V& w$ U* G, O0 G（1）reprocessing层：采用类似于LSTM/GRU的神经网络得到token的深层表示（图中的\bar a_i）；

（2）Attention层：利用软注意力机制计算文本间的cross-attention（与DecAtt相同），从而得到各token处交互后的向量表示（图中的h_i）；

5 G- Y& \& H0 t; i（3）Comparison层：通过各种网络结构或计算将\bar a_i和h_i计算求得各token的最终表征。

# S* o! z" e6 w' _) H  b（4）Aggregation层：利用CNN网络对Comparison层的输出进行计算，得到最后的匹配得分。

其中Comparison层的构造方式包括：

（1）矩阵乘法，类似于Pair-CNN中的中间Matrix
% H) S: i/ |4 [6 J8 G; I- V
（2）前向神经网络，即将\bar a_i和h_i进行拼接，然后利用输入FFN；

, C+ v- u- ~( a" U（3）分别计算cosine和欧式距离，然后拼接；

（4）各维度进行减法；

（5）各维度进行乘法；

5 W' R4 P; s; e' v" i8 E$ Y! u（6）各维度进行减法和乘法，然后再接一个前向网络。
, {' }: t& _. R* e, ]9 S4 x1 A3 ?7 }* f
* R0 W1 W9 Z' \' H+ M! u6. ABCNN
0 D% Y  h, o' B6 T9 TABCNN是将Attention机制作用于BCNN架构的文本匹配模型。
$ w  s- g7 s+ z. A( a4 l
6.1 BCNN
首先简单介绍下BCNN架构：
$ Z4 w) ~. a' s1 m+ E- y, V  ~5 J) a
BCNN的整体结构比较简单：（1）输入层；（2）卷积层，因为采用了反卷积的形式，所以在size上会增加；
, E" N" d7 `" c+ e& {8 C# E
（3）池化层，采用了两种池化模式，在模型开始阶段采用的是local平均池化，在最后句子向量的抽取时采用了global平均池化；（4）预测层，句子向量拼接后采用LR得到最后的匹配得分。

ABCNN共包括三种变形，下面依次介绍。

. v/ t6 ~: o, \+ }% n! z. W7 p6.2 ABCNN

3 {7 Q; D. V8 G+ b6 p! w) Y2 z- DABCNN-1直接将Attention机制作用于word embedding层，得到phrase 级的词向量表示。区别于CompAgg中的软注意力机制，ABCNN-1直接基于下式得到注意力矩阵： A i j = 1 1 + ∣ x i − y j ∣ A_{ij}=\frac{1}{1+|x_i-y_j|} A
ij
​       
9 |6 s# u/ J& l, J* T% G$ I) o8 x0 I =
1+∣x
i
​       
−y
" n6 S# R1 J8 x( Hj
' M  m$ b- [0 y; S& z: [​       
∣
1
! ^+ z% a3 v7 \* F& k* ?/ K. t. a​       
，然后分别乘以可学习的权重矩阵 W 0 W_0 W
0
​       
和 W 1 W_1 W
" q9 p# X5 j! I. i9 Q' K1
, X9 I6 ]9 @1 h1 U​       
7 c# j; h6 {5 u, R. g 得到attetion feature map。

6.3 ABCNN-2

ABCNN-2将Attention机制作用于word embedding层后的反卷积层的输出结果，其中注意力矩阵的计算原理与ABCNN-1一致。然后将注意力矩阵沿着row和col的方向分别求和，分别代表着各文本token的attention socre；接着将反卷积层的输出结果与attention socre进行加权平均池化，得到与输入层相同shape的特征图。

6.4 ABCNN-3

2 k. c! N/ G5 NABCNN-3的基本模块可视为ABCNN-1和ABCNN-2的堆叠，即在嵌入层和卷积层上面都引入了attention的机制用来增强对token向量的表示。

! _- p+ P3 x5 A7. ESIM
; |, ?2 j/ i6 }; K' tESIM模型基于NLI任务给出了一种强有力的交互型匹配方法。其采用了BiLSTM和Tree-LSTM分别对文本序列和文本解析树进行编码，其亮点在于：

（1）匹配层定义了cross-attention得到各token的向量表示与原token向量间的详细交互关系，即采用 [ a ˉ , a ^ , a ˉ − a ^ , a ˉ ∗ a ^ ] [\bar a, \hat a,\bar a-\hat a,\bar a* \hat a] [
a
3 Q$ K( h/ n& \8 ]ˉ
,
a
^
,
, Q9 m$ A; T" U; n; Wa
6 b# l. u+ G1 [- |' T/ O& Lˉ
' i3 t# n+ _. q' w/ j" f −
a
( y9 w. F. U) k^
,
- Q5 o. g5 m0 Z* ja
5 a8 F1 L! N) Q  e; u! l; z) g3 Bˉ
∗
a
^
3 W8 E6 \  I( b$ C; M ]作为最终文本token的向量表示，这也成为后续文本匹配模型的惯用做法。
& a4 a( o; w; D( R) w9 {+ c: r
（2）聚合层通过BiLSTM得到各文本token的编码，从而进一步增强了文本序列的信息传递；

（3）预测层通过拼接各文本token编码的max-pooling和mean-pooling结果，再经过MPL进行匹配预测。

' k" h0 p+ k7 f/ V" K3 Q
: M1 k) X3 F0 x' [/ o6 T
5 y) l  D% c% X8. Bimpm
0 s$ y, j3 s- f- {* ?Bimpm可视为对之前各类交互型文本匹配模型的一次总结。
2 f) n; Q, Y) D' X, k# U6 j! w
该模型在各层的具体做法总结如下：

* T4 d4 f5 p9 `8 F4 C: m6 ?0 s! _1 _（1）编码层采用BiLSTM得到每个token隐层的向量表示；

（2）匹配层遵循 m k = c o s i n e ( W k ∗ v 1 , W k ∗ v 2 ) m_k=cosine(W_k*v_1,W_k*v_2) m
. C  e; Y9 P/ A' ], w% F+ ]k
​       
0 ^; R/ x# d, c1 w% Q$ F6 S =cosine(W
k
' ]! p& x& y: P" j​       
∗v
1
​       
,W
  e+ l+ `3 z6 d5 ak
; }+ o& }1 A' ]( m) o3 {​       
∗v
7 \7 R; ~. R% i2
​       
6 X4 P( p  k/ V )的方式可以得到两个文本的任意token pair之间在第k个view下的匹配关系，至于 v 1 v_1 v
1
​       
和 v 2 v_2 v
- t! Y% d6 |3 a! D2
1 ]* L' ~: A8 X3 |0 ], ]$ a​       
$ v$ s$ H; {6 h  s8 _; k5 e; V 如何取，文章提供了4种策略：
! N$ W, w, L8 Q7 c: w0 z
策略一：其中一个句子取各token隐层的向量表示，另一个句子采用隐层最后时间步处的输出；
, G2 c/ R3 k/ D' n; l& S策略二：其中一个句子取各token隐层的向量表示，另一个句子采用隐层各时间步输出与之匹配后取再取Max-Pooling值；
2 P: p$ d  [3 |0 i! D策略三：其中一个句子取各token隐层的向量表示，另一个句子采用cross-attentive后得到的加权句子向量；
策略四：其中一个句子取各token隐层的向量表示，另一个句子采用cross-attentive后attention score最高处token的向量作为句子向量。
这四种策略的区别在于对句子向量的计算不同。
% e; a9 x- l% C. \; C) M5 Q% }' p  ~

（3）聚合层，首先对上面各种策略得到的输出层再通过一层BiLSTM层，然后将各策略下最后时间步的输出进行拼接，得到最后的聚合向量；
* G* F  ^6 ?3 f: h4 F/ j$ ~
' P  Z# h: @( \( O0 k（4）预测层：两层MPL+softmax

9. HCAN
HCAN是除Bert类模型外在文本匹配领域表现最为优异的深度模型之一，其采用了较为复杂的模型结构。
$ L/ `2 _& A8 y
4 v# Q. `% b) {3 [  k. f针对于信息抽取问题，文章首先分析了相关性匹配和语义匹配的差异：
6 B% S4 p  H8 F0 ^8 Y  A5 b
（1）相关性匹配主要关注于关键词的对比，因此更关注低层级词法、语法结构层面的匹配性；
* a5 P. U* Y$ h9 K
（2）语义匹配代表着文本的平均意义，因此其关注更高、更丑想的语义层面的匹配性。
/ d4 y5 x" x! V/ V  x% V+ R
/ y9 A7 I" e5 R2 T! T3 `该模型首先采用三类混合的编码器对query和context进行编码：

（1）深层相同卷积核大小的CNN编码器；
# {8 d. }9 m2 S% y; }( y& b1 W
/ J. `7 ]$ _, e（2）不同卷积核大小的CNN编码器的并行编码；

（3）沿着时序方向的stacked BiLSTM编码；

8 V" U9 ^; \* s% _  q& K( J( N对于前两者，通过控制卷积核的大小可以更好的捕捉词法和句法特征，即符合相关性匹配的目的；而对于后者，其能表征更长距离的文本意义，满足语义匹配的目的。

/ J1 S0 X* [9 `7 |在这三类编码器的编码结果基础上，模型分别进行了相关性匹配和语义匹配操作。其中相关性匹配主要采用各phrase间内积+max pooling/mean pooling的方式获取相关性特征，并通过IDF指进行各phrase的权重调整。而在语义匹配中，模型采用了精心设计的co-attention机制，并最终通过BiLSTM层输出结果。
& }% G. ^0 ^' T+ A
最后的预测层仍采用MPL+softmax进行预测。

10. 小结
交互型语言匹配模型由于引入各种花式attention，其模型的精细度和复杂度普遍强于表示型语言模型。交互型语言匹配模型通过尽早让文本进行交互（可以发生在Embedding和/或Encoding之后）实现了词法、句法层面信息的匹配，因此其效果也普遍较表示型语言模型更好。
1 f3 S4 e" c- t1 r8 r) I
【Reference】

* b) u9 q. A: K! k' vARC-II: Convolutional Neural Network Architectures for Matching Natural Language Sentences

PairCNN: Learning to Rank Short Text Pairs with Convolutional Deep Neural Networks

7 a# u' Q0 X7 ~" Q# I* ~% GMatchPyramid: Text Matching as Image Recognition

DecAtt: A Decomposable Attention Model for Natural Language Inference

CompAgg: A Compare-Aggregate Model for Matching Text Sequences

ABCNN: ABCNN: Attention-Based Convolutional Neural Network
for Modeling Sentence Pairs
1 R1 [0 w, a9 z) k6 D' t  {2 k
ESIM: Enhanced LSTM for Natural Language Inference

Bimpm: Bilateral Multi-Perspective Matching for Natural Language Sentences

; ~7 n6 k- Q% z* ]4 hHCAN: Bridging the Gap Between Relevance Matching and Semantic Matching
for Short Text Similarity Modeling

文本匹配相关方向打卡点总结（数据，场景，论文，开源工具）

+ x  w- Y# ?$ G8 e/ E谈谈文本匹配和多轮检索
" x# O. {! d  H; k- ?
) \0 ~% M' ?1 j# W& h贝壳找房【深度语义匹配模型 】原理篇一：表示型
% y) ^! R+ V! A" `* {————————————————
6 S( E. H3 @% {版权声明：本文为CSDN博主「guofei_fly」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/guofei_fly/article/details/107501276