Janus-Pro 是什么:能看图也能画图的开源模型
它是什么:一个模型,看图和画图都干
Janus-Pro 是深度求索(DeepSeek)在 2025 年 1 月 27 日发布的多模态模型,属于 Janus 系列,是此前 Janus 的升级版。一句话概括:同一个模型既能读懂图片、回答图片相关的问题,也能根据文字描述生成图片,代码和权重都已公开。
旧版 Janus 有两个毛病,官方在论文里讲得很直白:提示词一短,出图就不稳,质量忽高忽低。Janus-Pro 主要就是冲着这件事来的。官方说,这一版同时提升了图文理解和文生图的指令遵循能力,文生图也更稳定。它不是聊天助手那类产品,更接近一个能下载回家折腾的研究型基础模型。
关键规格:1B 和 7B 两档,图片统一 384×384
Janus 系列的核心思路是把“看”和“画”拆开。看图时,用 SigLIP-Large-Patch16-384 把图片编码成语义特征;画图时,用码本大小 16384、下采样 16 倍的 VQ 分词器,把图片变成一串离散编号。两路结果再送进同一个自回归 Transformer。打个比方,同一个大脑配了两副眼镜,读图戴一副,作画戴另一副,省得一副眼镜两头将就。官方认为,这样能缓解理解和生成两个任务互相拉扯的问题。
规模有 1B 和 7B 两档,底座是 DeepSeek-LLM,论文里按 1.5B 和 7B 标注语言模型参数。7B 版 30 层、隐层 4096,1B 版 24 层、隐层 2048,词表约 10 万,上下文窗口 4096 个 token。这意味着它不适合塞长文档,也不适合一长串图片的连续对话。输入可以是图片加文字,输出可以是文字,也可以是 384×384 的图片。知识截止时间官方没有公布。
许可方面,代码用 MIT 协议,模型的使用遵循 DeepSeek Model License。官方仓库写明,在这份条款范围内允许商用,真要上线,建议自己把条款读一遍。
能力和成绩:看懂图提升很实在,画图看指令遵循
理解这边,官方论文给出 7B 版的 MMBench 成绩是 79.2,同一张表里 Janus 是 69.4,13B 的 TokenFlow-XL 是 68.9,MetaMorph 是 75.2。MMMU 为 41.0,MM-Vet 为 50.0,Janus 对应的是 30.5 和 34.3。
生成这边,用的是 GenEval,它测的是数量、颜色、位置这类组合指令能不能画对。7B 版得分 0.80,Janus 是 0.61,DALL-E 3 是 0.67,Stable Diffusion 3 Medium 是 0.74。另一个 DPG-Bench 专门用长而密的提示词考语义对齐,7B 版约 84.2。
这些都是 DeepSeek 团队自己论文里的数字,对手的分数也取自他们列的表。这两个生成榜衡量的是“听不听得懂指令”,不等于图好不好看。官方归结的提升来源有三条:训练策略调整,包括拉长第一阶段、第二阶段不再用 ImageNet 数据;数据扩充,理解侧新增约 9000 万样本,生成侧加入约 7200 万合成美学数据,真实与合成数据比例做到 1:1;模型规模从 1.5B 放大到 7B。
怎么用,多少钱
官方给了三个入口:GitHub 仓库里有代码和技术报告,Hugging Face 上有 Janus-Pro-1B 和 Janus-Pro-7B 两份权重,另外还有一个 7B 的在线演示页。官方没有为它登记 API 名称,仓库里给的是权重和代码,所以谈不上按 token 计价。权重免费,你花的钱是自己的 GPU。
本地跑的话,官方示例要求 Python 3.8 以上,用 pip install -e . 装依赖,模型以 bfloat16 放到 CUDA 显卡上。7B 权重文件合计约 14.8GB,1B 约 4.2GB,所以跑 7B 至少得有一张装得下这些权重的卡,生成图片时还要多留余量。示例代码默认一次并行生成 16 张图,显存紧张就把这个数调小。另外加载时要开 trust_remote_code,装之前最好先扫一眼仓库代码。
和谁比:比上一代强得明显,对手要分开看
跟上一代比,论文表里的 Janus-Pro-1B 就已经高于 1.5B 的 Janus:MMBench 75.5 对 69.4,MMMU 36.3 对 30.5。不过 POPE 是 86.2 对 87.0,略低,所以并不是每一项都涨。
跟同量级的纯理解模型比,LLaVA-v1.5 7B 的 MMBench 是 64.3,POPE 是 85.9,Janus-Pro-7B 是 79.2 和 87.4,GQA 两边都是 62.0,打平。13B 的 TokenFlow-XL 在 GQA 上是 62.7,反而略高,论文也说 7B 版只在这一项没赢它。
文生图这边,GenEval 分数高于 DALL-E 3 和 SD3 Medium,但那是组合指令的准确率,画面质感和分辨率不在这个分数里。它的输出只有 384×384,拿去做成品图,用途会受限。
适合谁:研究和选型值得看,出成品图还早
做研究或技术选型的,值得认真看一眼:结构清晰,权重开放,代码 MIT,有现成的复现和改造空间,拿来当统一多模态的基线很合适。想在本地试试“同一个模型又读又画”的开发者,从 1B 版入手门槛最低。要留意 4096 的上下文和 384 的输入尺寸,密集小字、大图细节大概率会吃亏,用在业务上之前,先拿自己的图测一遍。
做内容的朋友,如果要的是能直接交付的成品图,这个分辨率不够,更适合拿来试玩、出草图,或者研究提示词怎么写。AI主线的看法是:它的价值在于证明了“看和画分开编码、合进一个模型”这条路走得通,而且你能自己下载、复现、改造,至于当日常生产力工具,现在还早。