为抽象总结学习集群模式 抽象群的集合是抽象的对吗

如今，预训练的序列到序列模型，如BERTSUM和BART，在抽象概括方面显示出最先进的成果。在这些模型中，在微调过程中，编码器将句子转化为潜在空间中的上下文向量，解码器则根据上下文向量学习摘要生成任务。在我们的方法中，我们考虑了突出的和非突出的上下文向量的两个集群，利用这些集群，解码器可以更多地关注突出的上下文向量来生成摘要。为此，我们在编码器和解码器之间提出了一个新的聚类转换层，它首先生成两个突出的和非突出的向量聚类，然后对聚类进行归一化处理，使它们在潜空间中分开。我们的实验结果表明，通过学习这些不同的聚类模式，所提出的模型优于现有的BART模型，在CNN/DailyMail和XSUM数据集中平均提高了4%的ROUGE和0.3%的BERTScore。

《Learning Cluster Patterns for Abstractive Summarization》

论文地址:http://arxiv.org/abs/2202.10967v1