DeepSeek-VL2 是什么:DeepSeek 的混合专家视觉语言模型
它是什么
DeepSeek-VL2 是深度求索在 2024 年 12 月 13 日开源的视觉语言模型系列,采用混合专家(MoE)架构,相比前代 DeepSeek-VL 有大幅提升。系列包括三个版本:DeepSeek-VL2-Tiny、DeepSeek-VL2-Small 和 DeepSeek-VL2,激活参数分别是 1.0B、2.8B 和 4.5B。它的语言部分基于 DeepSeekMoE,所以总参数比激活参数大不少,但每次推理只调用一部分专家,计算成本接近同等激活参数的小模型。
能做什么
官方列出的能力覆盖视觉问答、光学字符识别(OCR)、文档、表格和图表理解,以及视觉定位(在图里找出指定物体的位置)。这些恰好是实际应用里需求最大的几类:读截图、看报表、识别票据、分析图表。官方说,和现有的开源稠密模型、MoE 模型相比,DeepSeek-VL2 用相近甚至更少的激活参数,取得了相当或更好的成绩。
两个关键设计
一是动态分块的视觉编码。高分辨率图片和长宽比特殊的图片(比如长截图、宽表格)一直是视觉模型的难点,强行缩放会丢细节。DeepSeek-VL2 把图片按长宽比动态切成若干块分别编码,再拼起来交给语言模型,这样小字和细节都能保留下来,这也是它 OCR 和文档理解能力强的原因。二是语言模型部分采用 DeepSeekMoE,并使用多头潜在注意力(MLA),把推理时的键值缓存压缩成潜向量,降低显存占用、提高吞吐。这些技术后来也用在了 DeepSeek-V3 上。
适合谁
需要本地部署文档理解、OCR、图表分析能力的开发者,DeepSeek-VL2 系列提供了从小到大的选择:Tiny 适合资源紧张的场景,标准版效果更好。做视觉定位、界面元素识别的智能体开发者,也可以拿它做实验。它发布在 2024 年底,此后多模态模型进步很快,新项目可以和更新的模型一起比较后再选。AI 主线的看法是:DeepSeek-VL2 把 MoE 的“激活少、效果好”思路带进了视觉模型,动态分块加 MLA 的组合,是一个工程上很扎实的方案。