【文本匹配】交互型模型

杨利霞

【文本匹配】交互型模型
% P# M$ Z5 f: ^
表示型的文本匹配模型存在两大问题：（1）对各文本抽取的仅仅是最后的语义向量，其中的信息损失难以衡量；（2）缺乏对文本pair间词法、句法信息的比较

而交互型的文本匹配模型通过尽早在文本pair间进行信息交互，能够改善上述问题。

/ b) C9 k9 |7 T* L9 h基于交互的匹配模型的基本结构包括：

. Y4 A' ]; }' O( N7 ]8 f% @! T（1）嵌入层，即文本细粒度的嵌入表示；
. h+ ]1 {1 m1 k3 `
（2）编码层，在嵌入表示的基础上进一步编码；
( c1 D: }& j2 \2 k" L8 a
; F, s  m/ V5 K3 i, ~3 M（3）匹配层：将文本对的编码层输出进行交互、对比，得到各文本强化后的向量表征，或者直接得到统一的向量表征；

（4）融合层：对匹配层输出向量进一步压缩、融合；
( n$ e$ R5 R& v% ]4 L% Y1 d
: A8 J  p; {" n6 e（5）预测层：基于文本对融合后的向量进行文本关系的预测。
5 \  y& L$ x' M
# m& x* f( ^! ^8 B( p) g
8 D! t# y, d4 w- Z( m
1. ARC-II
  J* z  C8 G3 P* `, @0 |0 XARC-II模型是和表示型模型ARC-I模型在同一篇论文中提出的姊妹模型，采用pair-wise ranking loss的目标函数。
! j# b$ V% o1 {, ?( `" `# Z  S6 [
其核心结构为匹配层的设计：
$ A& |; X/ e2 A" v" E
（1）对文本pair的n-gram Embedding结果进行拼接，然后利用1-D CNN得到文本S_X中任一token i和文本S_Y中任一token j的交互张量元素M_{ij}。该操作既然考虑了n-gram滑动窗口对于local信息的捕捉，也通过拼接实现了文本pair间低层级的交互。

（2）对交互张量进行堆叠的global max-pooling和2D-CNN操作，从而扩大感受野。

2. PairCNN
PairCNN并没有选择在Embedding后直接进行query-doc间的交互，而是首先通过TextCNN的方式分别得到query和doc的向量表征，然后通过一个中间Matrix对query和doc向量进行交互得到pair的相似度向量，然后将query的向量表征、doc的向量表征、相似度向量以及其它的特征向量进行拼接，最后经过两层的MPL得到最后的二分类向量。
+ p) F7 D. [: k/ }  ^) H
' q" H& j! X* v) t- H" E: H" bPairCNN的模型架构中的亮点在于各View向量的拼接，既能利用原始的语义向量，还能够很便捷的融入外部特征。

" @! q0 K" M8 p# S' A3. MatchPyramid
无论是ARC-II中的n-gram拼接+1D conv还是Pair-CNN中的中间Matrix虽然均通过运算最终达到了信息交互的作用，但其定义还不够显式和明确，MatchPyramid借鉴图像卷积网络的思想，更加显式的定义了细粒度交互的过程。
MatchPyramid通过两文本各token embedding间的直接交互构造出匹配矩阵，然后将其视为图片进行2D卷积和2D池化，最后Flatten接MLP计算得匹配分数。本文共提出了三种匹配矩阵的构造方式：

( J6 V8 ?( b+ @( x- y（1）Indicator：0-1型，即一样的token取1，否则取0；这种做法无法涵盖同义多词的情况；

$ O/ s. s" X( ~5 V（2）Cosine：即词向量的夹角余弦；
- `2 l4 D9 E) D3 [  `& M) T# j; {
2 \% J* d9 }: b' r  E7 \（3）Dot Product：即词向量的内积

! k) s; q5 A- o8 P# q2 K2 N此外值得注意的是因为各个文本pair中句子长度的不一致，本文并没有采用padding到max-lenght的惯用做法，而是采用了更灵活的动态池化层，以保证MPL层参数个数的固定。

; b+ [- k% C: X0 [4. DecAtt
DecAtt将注意力机制引入到交互型文本匹配模型中，从而得到各token信息交互后增强后的向量表征。

模型被概括为如下层级模块：
2 D$ ~/ R9 w" o( ?
' ]2 u  R: D+ I; I) V4 x（1）Attend层：文章提供了两种注意力方案，分别为文本间的cross-attention，以及各文本内的intra-attention。具体而言，分别采用前向网络F和F_{intra}对文本token embedding进行编码，然后通过F(x)F(y)计算cross-attention的score，以及F_{intra}(x)F_{intra}(y)计算self-attention的score。然后利用softmax将attention score进行归一化，再对各token embedding进行加权平均，得到当前query token处的增强表征，最后与原始token embedding进行拼接计为attend后的最终embedding。

（2）Compare层：将前序Attend层计算得到的最终embedding，喂入一个全连接层进行向量维度的压缩。
" o) ^& v  h, u, E7 u# O
& d4 L# r3 C0 d& l（3）Aggregate层：将每个文本各token处压缩后的向量进行简单的求和，再拼接起来通过MPL得到最后的匹配得分。
5 ~8 ~2 \6 t' U8 W( A
5. CompAgg
CompAgg详细对比了在文本间cross-attention得到的各token向量表征与原始token向量进行compare的各种方案。
* _! a4 _* _8 v  j6 C9 ~# e
该模型的主要结构包括：
4 {$ q, I4 W& V* r  X: \) o
3 N+ T) n; O9 X4 K7 \（1）reprocessing层：采用类似于LSTM/GRU的神经网络得到token的深层表示（图中的\bar a_i）；
& e# K; p8 C4 v" I2 _; ^0 P' F9 p' j
) Z. k$ f6 g# i4 @1 L4 x（2）Attention层：利用软注意力机制计算文本间的cross-attention（与DecAtt相同），从而得到各token处交互后的向量表示（图中的h_i）；
7 j4 ]5 x/ [# ?1 K
1 x# w! ]! ~! z1 Q3 p- q（3）Comparison层：通过各种网络结构或计算将\bar a_i和h_i计算求得各token的最终表征。
9 ?  f7 a2 o9 N9 F2 w
（4）Aggregation层：利用CNN网络对Comparison层的输出进行计算，得到最后的匹配得分。
; ]! E) \- U4 c5 s
# J5 r6 t% L3 z+ u! P+ e3 c# S8 I1 d1 Z其中Comparison层的构造方式包括：
$ m& C- L# W6 \8 S+ w( `0 O3 w" x
3 H, N9 X5 Y) l" ?6 _- N（1）矩阵乘法，类似于Pair-CNN中的中间Matrix
+ g" h) x5 N7 U3 e# z: L8 X1 w
+ x/ g1 x& J% i# Q6 W（2）前向神经网络，即将\bar a_i和h_i进行拼接，然后利用输入FFN；
4 J* t! R' z( q! B9 b& r
7 @6 \: J" V9 s, C（3）分别计算cosine和欧式距离，然后拼接；
/ n$ h1 [6 s0 L7 E" y9 m# {% [
( D& p* {. Y; A) H7 E: h（4）各维度进行减法；
; V% v, @" o/ n4 q3 v4 o* ]
（5）各维度进行乘法；
* r. Y+ f! y7 U+ E4 x, V
（6）各维度进行减法和乘法，然后再接一个前向网络。
; U* h; _% l. V! |3 o
  ]% h) }0 \7 l7 f5 x3 a. G6. ABCNN
- w* W8 e3 |8 Z  k$ [7 LABCNN是将Attention机制作用于BCNN架构的文本匹配模型。
6 I/ k5 {  \9 a" I& |3 J
6.1 BCNN
7 a. c8 j  ]6 O, \: j+ S首先简单介绍下BCNN架构：

BCNN的整体结构比较简单：（1）输入层；（2）卷积层，因为采用了反卷积的形式，所以在size上会增加；
9 }! m+ X6 G9 q0 V/ e* F
( C0 Z( r6 w9 c: G6 {) E（3）池化层，采用了两种池化模式，在模型开始阶段采用的是local平均池化，在最后句子向量的抽取时采用了global平均池化；（4）预测层，句子向量拼接后采用LR得到最后的匹配得分。

ABCNN共包括三种变形，下面依次介绍。

! ]3 i" Y) j) `4 U2 w3 ]# [6.2 ABCNN
3 i' i/ L7 H$ t
5 H! h* }% m6 WABCNN-1直接将Attention机制作用于word embedding层，得到phrase 级的词向量表示。区别于CompAgg中的软注意力机制，ABCNN-1直接基于下式得到注意力矩阵： A i j = 1 1 + ∣ x i − y j ∣ A_{ij}=\frac{1}{1+|x_i-y_j|} A
ij
​       
, _. B8 {& i, a/ [3 [ =
1+∣x
; m6 s3 R, T" ]8 n; w9 Wi
* `2 ?1 N' q  R1 C+ u6 Q​       
−y
/ g7 o; t$ M! ?  Kj
! o% f, v1 ?+ C# b' {! T; O- @8 M​       
∣
1
​       
% R8 x, g3 `, e/ T6 ~2 k2 Y ，然后分别乘以可学习的权重矩阵 W 0 W_0 W
0
​       
和 W 1 W_1 W
1
+ q1 i+ A5 b, @1 g' t' Q+ d2 ^- E​       
得到attetion feature map。

) f9 f' n+ M. Y/ Y9 ~6.3 ABCNN-2

ABCNN-2将Attention机制作用于word embedding层后的反卷积层的输出结果，其中注意力矩阵的计算原理与ABCNN-1一致。然后将注意力矩阵沿着row和col的方向分别求和，分别代表着各文本token的attention socre；接着将反卷积层的输出结果与attention socre进行加权平均池化，得到与输入层相同shape的特征图。
) J: A* W, s' [. o& c/ o
( z6 N9 G9 b+ |) ^6.4 ABCNN-3

- |3 {9 F$ D$ H1 TABCNN-3的基本模块可视为ABCNN-1和ABCNN-2的堆叠，即在嵌入层和卷积层上面都引入了attention的机制用来增强对token向量的表示。

6 i& A4 Q4 U+ U  w8 J) i7. ESIM
ESIM模型基于NLI任务给出了一种强有力的交互型匹配方法。其采用了BiLSTM和Tree-LSTM分别对文本序列和文本解析树进行编码，其亮点在于：
8 I5 y+ H1 W$ l# D4 V
% z3 ^  L1 D: _, F, a（1）匹配层定义了cross-attention得到各token的向量表示与原token向量间的详细交互关系，即采用 [ a ˉ , a ^ , a ˉ − a ^ , a ˉ ∗ a ^ ] [\bar a, \hat a,\bar a-\hat a,\bar a* \hat a] [
a
ˉ
! g2 Y: S3 D# y# a6 w/ R% `! I ,
a
^
. @# H% |* x* G ,
a
6 [% \4 j' x3 n5 cˉ
−
# H6 Z9 N' z( l2 ?2 Wa
" [9 |2 p2 K( A# G5 M^
,
* I3 s" ~) X) |6 E, y/ ua
ˉ
! n7 \' |; {, _$ D& Z ∗
a
^
- q! Y2 r, Q! N0 h( u! B9 b& y ]作为最终文本token的向量表示，这也成为后续文本匹配模型的惯用做法。

（2）聚合层通过BiLSTM得到各文本token的编码，从而进一步增强了文本序列的信息传递；

) g: d8 J* z8 q（3）预测层通过拼接各文本token编码的max-pooling和mean-pooling结果，再经过MPL进行匹配预测。


3 T$ d8 G  @7 N5 ~3 r
& d. g% p: B# x7 U5 y8. Bimpm
Bimpm可视为对之前各类交互型文本匹配模型的一次总结。
  n) x7 U" h$ [/ B. }
该模型在各层的具体做法总结如下：
+ b' l$ a7 l2 n* C5 ~
% q. u8 d/ F" a) s8 T; z（1）编码层采用BiLSTM得到每个token隐层的向量表示；
9 D# g& K" W$ ]& s) o" a9 _
（2）匹配层遵循 m k = c o s i n e ( W k ∗ v 1 , W k ∗ v 2 ) m_k=cosine(W_k*v_1,W_k*v_2) m
; k6 D* A, ]. X9 Bk
4 \8 W' v) S3 W+ q' \3 W​       
/ A# ]3 E+ S# L0 F' ^) f =cosine(W
k
​       
∗v
: r; l" A% P. T6 D1
7 g- Z6 M5 f/ t$ n; D& T6 R3 F​       
* `. w) e: Y  D" C) [7 N ,W
3 u0 r% x, J0 A/ V& N; pk
% Y% A, I& z. G: V/ G) N* {​       
∗v
2
​       
)的方式可以得到两个文本的任意token pair之间在第k个view下的匹配关系，至于 v 1 v_1 v
1
& }! L9 M$ a  U  C/ t. g2 ^; F​       
和 v 2 v_2 v
5 v" d3 e8 t$ q$ [5 L  Z2
​       
$ B+ y9 M3 w$ G& Q2 M  t& v5 y  E 如何取，文章提供了4种策略：

策略一：其中一个句子取各token隐层的向量表示，另一个句子采用隐层最后时间步处的输出；
策略二：其中一个句子取各token隐层的向量表示，另一个句子采用隐层各时间步输出与之匹配后取再取Max-Pooling值；
策略三：其中一个句子取各token隐层的向量表示，另一个句子采用cross-attentive后得到的加权句子向量；
策略四：其中一个句子取各token隐层的向量表示，另一个句子采用cross-attentive后attention score最高处token的向量作为句子向量。
这四种策略的区别在于对句子向量的计算不同。
. r( E2 T- |- Q/ V9 n/ t9 d3 {
$ ~4 h  {6 z5 s( H6 e( u
（3）聚合层，首先对上面各种策略得到的输出层再通过一层BiLSTM层，然后将各策略下最后时间步的输出进行拼接，得到最后的聚合向量；

（4）预测层：两层MPL+softmax
/ x; X4 a9 ~. j* |' d
8 @1 D3 e+ U- A7 [- T. b9. HCAN
4 z7 N3 V; i7 P! ^0 w8 X9 pHCAN是除Bert类模型外在文本匹配领域表现最为优异的深度模型之一，其采用了较为复杂的模型结构。

针对于信息抽取问题，文章首先分析了相关性匹配和语义匹配的差异：

（1）相关性匹配主要关注于关键词的对比，因此更关注低层级词法、语法结构层面的匹配性；
* ~  S2 d! `$ d" S, Q
2 z% g' e  F5 N7 o（2）语义匹配代表着文本的平均意义，因此其关注更高、更丑想的语义层面的匹配性。
- F; }& s# h9 L2 }# n2 A
0 W/ f. s8 |- U$ }该模型首先采用三类混合的编码器对query和context进行编码：
( j  X+ o9 ?# V% u+ x
' U" U' I( ]2 R1 k& u( K  J2 w( e（1）深层相同卷积核大小的CNN编码器；

- R* Z  X; o9 t（2）不同卷积核大小的CNN编码器的并行编码；
- [1 G! v- |. n. w# ~" X
1 }) D2 {  k1 {- i2 r5 r8 O（3）沿着时序方向的stacked BiLSTM编码；

) l( t& |" _  Y' B" W  v对于前两者，通过控制卷积核的大小可以更好的捕捉词法和句法特征，即符合相关性匹配的目的；而对于后者，其能表征更长距离的文本意义，满足语义匹配的目的。

在这三类编码器的编码结果基础上，模型分别进行了相关性匹配和语义匹配操作。其中相关性匹配主要采用各phrase间内积+max pooling/mean pooling的方式获取相关性特征，并通过IDF指进行各phrase的权重调整。而在语义匹配中，模型采用了精心设计的co-attention机制，并最终通过BiLSTM层输出结果。
+ b# A/ D% Y6 }1 _9 g
最后的预测层仍采用MPL+softmax进行预测。
" F  J3 ~! J8 i" z
10. 小结
- f9 i7 ?5 {6 }7 V交互型语言匹配模型由于引入各种花式attention，其模型的精细度和复杂度普遍强于表示型语言模型。交互型语言匹配模型通过尽早让文本进行交互（可以发生在Embedding和/或Encoding之后）实现了词法、句法层面信息的匹配，因此其效果也普遍较表示型语言模型更好。

【Reference】

ARC-II: Convolutional Neural Network Architectures for Matching Natural Language Sentences

& x, k' O+ C& `5 b3 c3 s7 a' Q0 jPairCNN: Learning to Rank Short Text Pairs with Convolutional Deep Neural Networks

- g$ v" [4 {6 J; @: f' c" n6 U' Y9 `MatchPyramid: Text Matching as Image Recognition
) t2 `) `! P5 t! R. W" z
3 R+ T' o- T4 ~, G9 F& [; PDecAtt: A Decomposable Attention Model for Natural Language Inference
; G4 v% ]8 u: p$ H
6 r4 B2 ^2 k9 j1 UCompAgg: A Compare-Aggregate Model for Matching Text Sequences
# S* `( q9 E) ~% Q" \3 H& U
ABCNN: ABCNN: Attention-Based Convolutional Neural Network
' y& N- L* W  c' B9 afor Modeling Sentence Pairs
$ L2 ^+ X" [% }  ?4 ^
ESIM: Enhanced LSTM for Natural Language Inference

: q8 w7 t1 G4 C; t1 d) v: oBimpm: Bilateral Multi-Perspective Matching for Natural Language Sentences

HCAN: Bridging the Gap Between Relevance Matching and Semantic Matching
1 D7 Y. X/ h3 T' Zfor Short Text Similarity Modeling

% M4 i  _9 I( N) j文本匹配相关方向打卡点总结（数据，场景，论文，开源工具）
+ C: U% M; O+ T" T/ q
谈谈文本匹配和多轮检索

贝壳找房【深度语义匹配模型 】原理篇一：表示型
————————————————
版权声明：本文为CSDN博主「guofei_fly」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
. e  O9 ^: L% G8 b原文链接：https://blog.csdn.net/guofei_fly/article/details/107501276

% M1 b# R5 y! j% O  ~