UTC-IE: A Unified Token-pair Classification Architecture for Information Extraction（信息提取的统一序列对提取架构）
最近阅读了一篇被ACL（2023）收录的一篇文章，这篇文章介绍了一种关于统一信息提取的方法，原文链接：UTC-IE：用于信息提取的统一令牌对分类架构 - ACL 选集 (aclanthology.org)。该篇论文由上海市智能信息处理重点实验室与复旦大学合作发表，作者具体信息可在原文链接中找到。论文概述：2022年关于UIE的论文中提到通用信息提取的概念，旨在统一各种NLP任务，例如实体识别，事件提取以及关系提取等。这一概念的产生，得益于现在大模型中蕴含着的丰富的语义知识，现在大多数基于这个理念的研究也都是借助于大模型的能力。这些工作的本质，其实是在探究如何使用某种方式或者架构来最大限度去挖掘大模型中已有的能力。然而今天所论述的这篇文章并没有利用现在十分火热大规模语言模型，而是提出了一种token对分类架构来进行信息提取，具体来说，它是对具有加形自注意力的轴感知交互和与卷积神经网络在令牌对上的局部交互进行建模。这里我们可能对“对具有加形自注意力的轴感知交互和与卷积神经网络在令牌对上的局部交互进行建模”理念并不熟悉，后面通过对文章的解读会对此有一个清楚的认识。为了使得理解这篇论文的过程变得更加容易，在对其核心内容UTC-IE架构进行介绍之前，我们必须先对这篇论文的一些前置工作进行了解。作者受前人启发，并在一列调查研究的基础上，创造性地提出了一种简单而有效的统一 IE 范式。作者重新检查了IE任务，认为所有的IE任务本质上都是一样的，及这些IE任务本质上都可以视为是对span的提取（NER 和 RE 中的实体提取、EE 中的触发器提取和参数跨度检测）或relation的提取（RE 中的关系提取和 EE 中的参数角色分类）。从这一角度上，作者进一步将IE任务描述成了对token对的分类，Figure 1显示了如何将IE任务转换为对token对的分类（图片上传有些失真）。在这里，&#34;School of Computer Science has the best teachers&#34;中的每一个词皆为一个token，在上面的三个矩阵中，每个小方块都代表中由两个token组成的token对。图a是该框架对于命名实体识别的解释，采用了start-to-end and end-to-start 形式的token对来指明span对象。举例解释，以图a中的e1为例：对于每一个小方块（原文中的cell），其横坐标对应的token为start，纵坐标的token为end，所以第一行的e1所代表的span为（School，Science），第四行的e1所代表的span为（Science，School）。对于Figure 1中其他标记的解释也是同一个道理，就不再做过多的叙述（注：关系提取采取的是start-to-start and end-to-end）。从这里就可以看到，对于任意的两个token，都有相应的cell来表示它们组成的span，如此也就将最初的span提取任务转化为一种特殊的span分类任务，也就是去判断每个cell指示的span的类型是什么。span类型有很多，实体中的何种实体，关系中的何种关系，事件触发词中的何种触发词，这些都可以预先定义，从而最终将IE任务转变成了一个多分类任务（当然也有nul，毕竟大多数情况下两个token之间并不会存在任何联系）。这篇文章的大致思路就是如此，除此之外，其前置工作还包括任务分解和解码设计。对这两步的理解还是比较重要的，可以帮我们快速理解后面的公式。任务分解：    形式上，给定 L 个标记的输入句子 x = [x1, x2,..., xL]，潜在的span对可以形成分数矩阵 Y ∈  ，其中 |S| 是span类别数量，R 是relation类别数量。这里|S|+|R| 就可以理解为前面提到的分类的类别。对于不同的单一IE任务，span类别和relation类别会有不同（任务分解设计的详情请见原文），然而各种IE任务的框架是一样的，毕竟这篇工作的目标是统一信息抽取。   （提一嘴，这里的分数矩阵Y如果要和Figure 1联想起来，可以将每个cell中的内容视为一个向量，向量的长度及为cell所代表的span的分类类别，向量的值及为每个类别的得分。）解码：    对于解码则比较容易理解，原文如下（原文直译）：解码本质上从分数矩阵 Y 中提取跨度和关系。如果 Y(s,e,t) =Y(e,s,t) = 1 和 t ∈ [1, |S|]，则跨度 (s, e) 是类型 t。对于两个跨度 (s1, e1) 和 (s2, e2)，如果 Y(s1,s2,r) = Y(e1,e2,r) = 1 和 r ∈[|S| + 1, |S| + |R|]，则跨度 (s1, e1) 与跨度 (s2, e2) 形成关系 r。上面（Figure2）展示的就是UTC-IE模型的整个架构，整篇文章的精华基本上就是图中所展示的内容，接下来我就以这张图为线索来对这篇文章做一次解读。    原文表述：Given an input sentence, we first apply a PLM as our sentence encoder to obtain the contextualized representation as follows        这一层很好理解，将一个预训练语言模型（PLM）用作句子编码器。预训练语言模型是在大规模文本数据上进行预训练的神经网络，它能够学习语言的上下文表示（词向量表示）。这里作者并没有介绍他们用的是何种预训练语言模型。       注：[x1,x2,...,xL]为输入token序列，[h1,h2,...,hL]为编码后的结果。    经过PLM层得到句子的词向量表示后，作者紧接着在后面添加了一个Biaffine Model，利用Biaffine 机制获取到token对之间的特征（这篇文章就是在通过判断token对之间的关系来进行信息提取）。        原文表述：Next, we use the Biaffine mechanism to get features for each token pair as follows    这里大致解释一下Biaffine机制：Biaffine 机制是一种在神经网络中应用的数学操作，主要用于自然语言处理任务，例如句法或语义分析。它旨在建模两个集合中元素之间的成对交互，通常用于捕捉句子中单词之间的关系。    Biaffine 机制主要包含以下几点：     原文中的MLP(H)操作就是Biaffine机制中的反射变换，两个不同反射操作的对象都是H(上一步得到的词的向量表示）。    反射变换后，紧接着的一步就是对线性变换后的两个向量集合应用双线性形式建模。其中的第一项是双线性形式建模中的基本形式，第二项是添加的一个链接项（为了引入更复杂的交互，可以使模型更灵活地捕捉 A 和 B 之间更复杂的关系。），第三项为偏置项。    设置这一层的主要目的就是获得矩阵S,S及为经过反射变换后的得分矩阵，后面的一系列的工作都建立在这个矩阵的基础上。（1）PlusAttention    在经过Biaffine 层得到得分矩阵S后，后面一层的设计就是这篇论文工作的核心所在。在讨论Plusformer之前，我们必须先了解作者在文章前面所提到的一些概念。    我们从论文中给出的式子入手来一一解读Plusformer，首先看到第一个注意力机制，如下：    作者在水平和垂直两个方向上应用了注意力机制，方法和过程是一样的，我们着重关注第一行式子。Attention括号内依次给出了查询（Query）和键（key）以及值(Value) 的生成方式，所有的W都是需要训练才能得到的参数;其中的( )表示前一层得到的得分矩阵S中第i行所有的元素，(  )是一个（L✖C)形式的向量。    Attention函数的实现方式已标红，  得到的是一个（L✖L）的向量，其除以  后和V相乘最后得到一个(L✖C)形式的矩阵  。此处的每一个C维向量所包含的信息与前面的( ）相比已经发生了变化，( ）的每一个C维向量表示第i个token与另一个token之间的联系，而除此之外还包含了第i个token与第i行中其他所有token之间的联系，从而实现了水平方向上的注意力机制。    实现水平和垂直方向的注意力机制后，作者将二者拼接得到(L✖L✖2c）的矩阵，在经过一个感知器将之变换得到  (L✖L✖c)。  中的c维向量主要包含了第i个token与第j个token之间的信息，同时也包含以（i,j）为中心的“十”字上的信息，这也是Plusformer名称的由来。（2）LayerNorm      在PlusAttention 后紧跟了一个LayerNorm层（归一化层）。这一层对样本的特征进行归一化，以加快模型的收敛速度。（3）CNN       为了使模型能够利用相邻令牌对之间的局部依赖，作者在上应用内核大小为 3 × 3 的 CNN，具体操作如下：       作者在这着重提出了卷积操作中并没有引入偏置项（红色部分），但并没有解释这样做的原因，我的猜想是，使用偏置项可能导致结果的不一致性。具体来说，当处理不同长度的样本时（每个sentence长度不可能都相同），不同长度的序列可能经历不同数量的卷积操作。由于偏置项是可学习的参数，不同数量的卷积操作可能导致不同数量的偏置项被训练和应用。这样，模型在不同长度的样本上学到的偏置可能不同，导致了结果的不一致性。       卷积操作后又进行了一步归一化，这里不再介绍。       卷积过后,最后连接了一个多层感知机以生成最终的结果。     UTC-IE Model 的基本架构以及实现原理已经介绍完毕，但还是有很多细节没有涉及到。例如根据Figure2所展示的，在这个模型中存在三处残差连接，后面的介绍会有所涉及。       首先，根据之前的设计，从输出中分解出实体提取结果以及关系提取结果。值得注意的是，提取实体结果时运用了Sigmoid函数；并且提取的对象  中包含了S,这个步骤的表示为Figure2中左侧的残差链接。除此之外， 中的第三个维度从（S+R)变为了（S+R+1)，这是作者根据ATL(出自2021的一篇论文，可在原文中找到这篇引用论文的详细信息）加上的，本人对此并没有进行深度了解，不做过多叙述。    对于实体跨度的提取，作者采用了二元交叉熵损失函数，将r的上限设为了  ,从而直接使用了作为参数。此处容易理解。       关于关系提取损失函数的设计，作者依旧借用了ATL中的方法，这里在一开始看时比较懵逼，后面大致看一眼它引用的论文，多少明白了一点。首先我们要清楚，TH和其他向量一样是通过前面学习得到的，这里将之定义为了第三个维度中的第|S|+|R|+1 个特征；  和  是根据训练数据的标签来定义的，对于每一个实体对这俩都是不同的，如果一对token具有第m和第n种关系，那么m和n就会进入集合，其他的就会进入集合。      明白这两点，理解上面的关系损失函数就不会太难：在训练数据中，如果第i个实体和第j个实体组成的span的第m个标签为1，则代表这两个实体具有第m中关系，因此m属于，损失函数的第一项就会促使第m项的预测得分变高，以减小这部分的损失函数；损失函数的第二项理解同理，当属于的得分变低时，整个损失函数就会下降。   （这里可能有错，用于参考就行）实验结果分析      论文中展示了很多实验结果，总的来看，该论文设计的模型在各种IE任务中的表现普遍优于当下的基准模型。因为该部分内容过多，就不在这里进行详细导论，只讨论其正文中的实验结果图表以及对实验结果进行简单的总结，具体的实验设计和实验过程及结果可自行查看原文。  （1） Table 1展示了在不同数据集上使用该框架进行单一IE任务训练得到UTC-IE模型并进行测试的结果，可见在所有的情况下，该模型都取得了较其他方法最为优异的结果。其中值得注意的是，哪怕从架构中去除了Pulsformer层再进行训练，其得到的模型性能在四种情况下也优于以前的基准。同时将（-Plusformer）与（UTC-IE）的实验结果进行对比，也不难发现Plusformer在所有类型的IE任务中都起到了提升模型性能的作用。    （2）Table 2 展示了多任务联合学习与单任务学习的对比。&#34;jointly learning all IE tasks&#34; 意味着模型同时学习处理所有信息抽取（IE）任务，而不是单独独立地处理每个任务。这种联合学习的方式可以使模型更全面地理解和利用不同任务之间的相关信息，从而更好地完成整体的信息抽取任务。从实验结果可以很清楚的看到，在两个数据集上执行的各种IE测试，UTC-IE_joint 的结果都是要优于UTC-IE_single的；与原来的联合训练基线方法相比，在平均性能上也有明显的提升。   （3）Table 3 展示了关于UTC-IE与其他 SOTA 模型的推理速度实验结果。简而言之，与之前的 SOTA 模型（无论是特定于任务的、统一的还是联合）相比，UTC-IE 在多个数据集上实现了显着的性能提升，显着提高了速度。  （4）Table 4 展示的消融实验的结果，可见不论从架构中剔除哪一部分，都会对最终模型的性能产生不同大小的影响，其中根据分析可知，CNN是所有IE任务中最有用的组件。          其中将 PlusAttention 被丢弃，作者称此变体为 CNN-IE。表 4 的底行表明，CNN-IE 模型在几乎所有数据集中都可以超越或接近以前的 SOTA 性能，这证明了作者提出的任务公式的普遍性。     以下是原文给出的结论直译，易于理解不再解释：     在本文中，我们将 NER、RE 和 EE 任务分解为令牌对分类。通过分解，我们在相同的公式下统一所有 IE 任务。在仔细检查令牌对特征矩阵后，我们发现令牌对之间的相邻和加形交互应该提供信息。因此，我们提出了 Plusformer，它使用轴感知加形状的自注意力，然后是 CNN 层来帮助令牌对彼此交互。在 10 个单一 IE 数据集和 2 个联合 IE 数据集上的实验都优于或接近SOTA性能。此外，由于自注意力和 CNN 的并行性，我们的模型在 RE 和 EE 中的推理速度比以前的 SOTA 模型快得多。最后，之前的大多数 IE 模型限制了 1-D 顺序维度之间的交互，而 IE 任务的重新表述为将通信扩展到 2-D 特征矩阵开辟了新的角度。（注：对于论文的解读比较浅显，只限参考；如有错误请多包含，望请指正。）