自动摘要是什么？让机器把长文压缩成要点

自动摘要（Automatic Summarization），也叫文本摘要，是利用计算机自动地把一篇或多篇较长的文本压缩成一段简短概述的技术，要求保留原文最重要的信息。它是自然语言处理中历史悠久的研究方向之一。

为什么需要自动摘要

面对海量的新闻、论文、报告、邮件、会议记录，人们没有时间逐一细读。自动摘要可以帮助人们快速了解一篇文章的主要内容，判断是否值得深入阅读，或者直接获取所需的信息。早在 1958 年，IBM 的研究者 Hans Peter Luhn 就发表了关于自动生成文献摘要的论文：他根据词语出现的频率找出重要的词，再选出包含较多重要词的句子作为摘要。

两种主要的方式

抽取式摘要：从原文中挑选出最重要的几个句子，按照原来的顺序组合起来作为摘要，不改动原文的措辞。问题的关键是如何判断句子的重要性，常用的依据包括：句子中重要词语出现的频率、句子在文章中的位置，比如新闻的第一段往往最重要、句子与标题的相似程度，以及句子与其他句子之间的关联。2004 年 Rada Mihalcea 和 Paul Tarau 提出的 TextRank 算法借鉴了网页排名 PageRank 的思想：把句子看作图中的节点，句子之间的相似度作为边的权重，与很多其他句子都相似的句子被认为更重要。抽取式摘要的优点是语句通顺、不会歪曲原文；缺点是句子之间可能缺乏衔接，有时包含冗余的信息，而且无法进行概括和压缩。

生成式摘要：像人一样理解原文之后，用自己的话重新组织语言，生成一段新的概述，可以使用原文中没有出现过的词语和句子，进行概括、合并和改写。这种方式更加灵活，更接近人写的摘要，但技术难度更大。2015 年前后，基于神经网络的序列到序列模型开始被用于生成式摘要；2017 年提出的指针生成网络，允许模型在生成新词和直接复制原文中的词之间切换，较好地处理了人名、数字等原文中的细节。此后，基于 Transformer 的预训练模型，比如 BART、T5、PEGASUS，大幅提升了生成式摘要的质量。如今，大语言模型能够根据指令生成各种长度、风格和侧重点的摘要，比如“用三句话总结”“列出要点”“只总结与价格有关的内容”，成为最常用的摘要工具。

如何评价摘要

最常用的自动评价指标是 ROUGE，由 Chin-Yew Lin 在 2004 年提出，它通过比较机器摘要与人工撰写的参考摘要之间重合的词语和短语的比例来打分。ROUGE 计算方便，但只看表面的词语重合，可能给意思正确但措辞不同的摘要打低分，也无法发现事实错误。因此常常还需要人工评价，从信息覆盖、流畅程度、简洁程度和忠实程度等方面打分。近年来也出现了用大语言模型来评价摘要质量的方法。

主要的挑战

生成式摘要，尤其是大语言模型生成的摘要，最大的风险是事实不一致，也就是“幻觉”：摘要中可能出现原文中没有的内容，或者把数字、人物、因果关系弄错，读起来很通顺，却与原文不符。在新闻、医疗、法律、金融等领域，这样的错误可能带来严重的后果。研究者提出了专门检测摘要事实一致性的方法，在实际使用中，重要场合的摘要仍需要人工核对。此外，超长文档和多文档的摘要、对话和会议的摘要，也是当前的研究热点。