FActScore是什么？按原子事实给长文本事实性打分

FActScore 是 2023 年由华盛顿大学、马萨诸塞大学阿默斯特分校、艾伦人工智能研究所和 Meta AI 的研究者提出的评测指标：把模型写出的长文本拆成一条条原子事实，再统计其中有多大比例能被可靠的知识源支持，以此衡量长文本的事实精确度。就像老师批改人物小传，不会因为错一处就整篇判零分，而是逐条勾对错，十条信息对了七条，就是七成。

它是怎么算出来的

全称是 Factual precision in Atomicity Score。原子事实指一句只含一条信息的短句：比如“她是美国演员、模特和制片人”，会拆成“她是美国人”“她是演员”“她是模特”“她是制片人”四条，每条单独对照知识源，看有没有被支持。得分就是被支持的条数除以总条数，再对模型没有拒答的回答取平均。

设计里有两个关键想法。一是用原子事实而不是整句计分，因为 ChatGPT 的一句话平均含 4.4 条信息，其中 40% 的句子真假混杂。二是“真不真”要看认哪个知识源，论文的人物传记实验以维基百科为准。

人工验证一篇要约 4 美元，而一篇有 26 到 41 条事实，实在太贵。作者就做了自动估算器：用 InstructGPT 拆事实，从维基百科检索相关段落，再让 LLaMA 或 ChatGPT 判断真假，结果与人工的误差低于 2%。靠它评了 13 个模型的 6500 篇生成内容，换成人工要约 2.6 万美元。

从哪来的

论文题为 FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation，作者有 Sewon Min、Kalpesh Krishna 等人，2023 年 5 月上线 arXiv，同年发表于 EMNLP，代码用 pip install factscore 就能装。当时的老办法要么整句判对错，太粗，要么全靠人工，太贵。作者测了 InstructGPT、ChatGPT 和带搜索的 PerplexityAI，得分约 42%、58% 和 71%。人物越冷门分越低，ChatGPT 从 80% 掉到 16%，内容越靠后也越容易出错。

现在在哪用

先说清楚：论文测的是 2023 年上半年的模型，如 InstructGPT、ChatGPT、GPT-4、Vicuna 和 Alpaca，这些分数不能拿去比今天的 Claude、GPT 或 Gemini，要比就得用同一套流程重跑。

后来它主要有三种用法。论文发表四个月内，Chain-of-Verification 等工作就用它评估事实精确度。2024 年的 D-FActScore 发现，Llama-2-13b-chat 等模型写传记时会把同名的不同人拼进一段，每条单看都能在维基找到支持，论文的例子里原版给了 100%，四个开源模型的 D-FActScore 比原版低了 10% 以上。2025 年的 OpenFActScore 则允许任意 Hugging Face 模型来拆事实和验证，不必再绑定闭源模型。

容易混的地方

最该记住的是：FActScore 只看精确度，不看召回。少说话或爱拒答的模型，分数反而更高。论文里 GPT-4 的拒答比 ChatGPT 少（12% 对 16%），每篇的事实却多得多（61 条对 37 条），两者精确度相当，所以作者建议同时报告拒答比例和平均事实数。

它也不是 Google DeepMind 2024 年提出的 SAFE。SAFE 用大模型加 Google 搜索核查单条事实，配套的 LongFact 有 2280 个提示、覆盖 38 个主题，计分用 F1@K，把召回也算进去，评测了 Gemini、GPT、Claude 和 PaLM-2 四个家族的 13 个模型。两套分数的知识源和算法都不同，不能混着比。

它也不是绝对裁判：维基百科没写的真事会被判成不支持，论文抽查 30 条这类事实，有 3 条在别处能找到依据；观点性强、有争议的内容也不适用。

对使用者的影响有三点。联网检索不保证准：论文里带搜索的 PerplexityAI 只有约 71%，被支持和不被支持的句子里带引用的比例差不多（36.0% 对 37.6%）。让模型写长文时，后半段的人名、年份、作品名值得多查一遍。冷门人物和冷门产品是重灾区。我们 AI主线 的建议是：把 FActScore 当作衡量“说出口的话有多少能被查实”的尺子，不当模型可靠度的总分，用于选型时换成你自己领域的知识源重测。