NUPA 是什么？专门测试大模型数字处理能力的评测

数字理解和处理能力（Number Understanding and Processing Ability，NUPA）是一个专门评估大语言模型处理数字能力的框架，由北京大学张牧涵团队在 2024 年 12 月提出，论文标题是《数字食谱：大模型的数字理解与数字处理能力》。

为什么要单独测数字

大模型能解复杂的数学竞赛题，却可能在“9.11 和 9.9 哪个大”这样简单的问题上犯错，这在 2024 年曾引起广泛讨论。这说明大模型的数字处理能力存在独特的短板。以往评估模型数学能力的基准，通常把数字处理和数学推理、常识推理混在一起：模型做错一道应用题，很难分清是推理思路错了，还是算数本身算错了。NUPA 的思路是把数字能力独立出来，单独、精细地评估。

怎么测

NUPA 覆盖了多种常见的数字表示形式：整数、浮点数（小数）、分数和科学计数法。在这些表示上设计了 17 类任务，涵盖四大方面：基础运算，比如加减乘除；比较，比如判断大小；转换，比如在不同表示形式之间转换；以及数位理解，比如“第几位上的数字是几”、数字的长度、取整等。任务的难度可以通过数字的长度来调节，从几位数到很多位数。

发现了什么

论文测试了多个主流的大模型，发现它们在很多基础的数字任务上表现不佳，尤其是数字位数增多之后，准确率会急剧下降。研究还探讨了影响数字能力的因素，比如分词方式：很多模型的分词器把数字切得很随意，“12345”可能被切成“123”和“45”，这让模型很难按位处理数字；位置编码和数据格式也会产生影响。研究者尝试了一些改进方法，比如专门的数字训练和思维链，发现它们能在一定程度上提升效果，但无法完全解决问题。

意义

数字是财务、科学、工程等大量实际应用的基础，一个数字算错可能导致严重的后果。NUPA 为评估和改进大模型的“算数基本功”提供了一个系统的工具，也提醒使用者：涉及精确计算时，最好让模型调用计算器或代码执行，而不是完全依赖它自己算。