米开朗基罗基准是什么？测试大模型真正理解长文本的能力

米开朗基罗（Michelangelo）是一个评估大模型长文本推理能力的基准，由谷歌 DeepMind 的研究人员在 2024 年提出，论文标题是《米开朗基罗：超越大海捞针的长上下文评估——通过潜在结构查询》。

大海捞针不够用

评估大模型长上下文能力最常用的方法是“大海捞针”：在一篇很长的无关文本中，藏一句特定的话，比如“最好的披萨配料是菠萝”，然后问模型这句话说了什么。如今的主流大模型在这类测试上大多能拿到接近满分的成绩。但这只能说明模型能在长文本中“找到”某个信息，不能说明它真正理解了长文本、能综合运用其中分散的信息进行推理。现实中的长文本任务，比如分析一份几百页的合同、理解一个庞大的代码库，往往需要后者。

潜在结构查询

米开朗基罗采用了一个名为潜在结构查询（Latent Structure Queries，LSQ）的框架来构建评测任务。名字来自米开朗基罗的一句名言：雕像本来就在大理石里，他只是去掉了多余的部分。对应到这里：长文本中隐藏着某种结构，模型需要像雕刻家一样，去掉大量无关的信息，揭示出这个隐藏的结构，才能回答问题。

论文设计了三类任务。潜在列表：文本中散布着一系列对一个列表的操作，比如添加、删除、修改某些元素，中间夹杂着大量无关的干扰操作，模型需要追踪所有相关的操作，回答最终列表的状态。多轮共指消解：在很长的多轮对话中，用户提到“第二次问的那个问题”之类，模型需要准确地找出指的是哪一段内容。我不知道：给出一段长文本和一个问题，模型需要判断答案是否真的在文本中，如果不在，就要回答“不知道”，而不是编造一个答案。

特点和发现

这些任务都是合成的，可以任意扩展上下文的长度、调节任务的复杂度，而且避免了评测内容在之前的训练数据中泄露。论文在多个前沿模型上进行了测试，发现即使是在“大海捞针”上表现完美的模型，在米开朗基罗的任务上，随着上下文变长，表现也会明显下降，说明长文本推理仍然有很大的提升空间。