文档理解是什么？让 AI 看懂合同、发票和报表

文档理解（Document Understanding）是让 AI 读懂文档的多模态技术。它处理的是合同、发票、报表、论文、表单、证件这类包含文字、表格、图片和复杂版面的文档。和传统 OCR 只把图片上的字转成文本不同，文档理解还要明白版面结构：哪段是标题、哪个数字是合计金额、表格的哪一列对应哪个字段、签名在哪里，以及各部分内容之间的关系。

为什么光有 OCR 不够

一张发票经过 OCR，会得到一大堆文字，但“金额：1000”和旁边的“税额：130”，在 OCR 结果里可能混在一起，分不清哪个数对应哪个字段。文档的含义很大程度上藏在空间布局里：位置、对齐、字体大小、表格线。早期的文档处理系统靠 OCR 加人工写的规则来提取字段，一旦遇到新版式的文档，规则就要重写。

LayoutLM：把版面信息也教给模型

2019 年底，微软亚洲研究院提出了 LayoutLM。它的思路是在预训练时，不只输入文字，还输入每个词在页面上的位置坐标，让模型同时学习文本内容和版面布局之间的关系。这是第一个把文本和版面联合预训练的模型，在表单理解、票据理解、文档图像分类等任务上取得了明显提升。此后的 LayoutLMv2、v3 又加入了图像特征，形成了文本、版面、图像三种信息融合的方案。

大模型时代的变化

多模态大模型出现后，文档理解变得简单了很多：直接把文档图片发给模型，问“这份合同的甲方是谁、违约金是多少”，它就能回答。也出现了专门的文档解析模型，能把复杂文档转换成结构化的 Markdown 或 JSON，保留标题层级、表格结构和阅读顺序，供后续的检索增强生成（RAG）使用。

应用

财务票据自动录入、合同审查、保险理赔、银行开户材料审核、学术论文解析、企业知识库建设，都依赖文档理解。在实际落地中，跨页表格、手写体、印章遮挡、扫描质量差，仍然是常见的难点。对准确率要求高的场景，通常还要加一道人工复核。