资讯

Vidu S2 是什么:能边播边改视频流的实时视频模型

2026-11-064 分钟阅读百科
TL;DRVidu S2 是生数科技在 2026 年 9 月中旬发布的实时视频模型,属于 Vidu 系列里专攻流式生成的 S 线。一句话讲:它不是等你写完提示词再吐出一段成片,而是在视频持续流动的过程中,随时接受新的指令、新的参考图和新的输入画面。

Vidu S2 模型档案:发布时间、参数与价格 →

它是什么

Vidu S2 是生数科技在 2026 年 9 月中旬发布的实时视频模型,属于 Vidu 系列里专攻流式生成的 S 线。一句话讲:它不是等你写完提示词再吐出一段成片,而是在视频持续流动的过程中,随时接受新的指令、新的参考图和新的输入画面。技术报告 9 月 10 日先上了 arXiv,产品发布当天就全量开放了网页体验。

S2 其实是一组模型。S2-Avatar 负责实时数字角色,你说话或下指令,角色持续做出反应;S2-Editing 负责实时视频编辑,接进摄像头或源视频流,边播边改风格、服装、人物和背景。另外还有面向预设内容的离线版 S2-Avatar,按图片、文案或音频批量做数字人口播视频。

关键规格

登记的输出分辨率是 720p,官方说 S2-Avatar 的实时输出在每秒 25 到 42 帧之间。上一代 S1 的实时输出是 540p,所以这一代人脸和服装的细节会更清楚一些。换个说法,25 帧以上意味着画面是连着流出来的,而不是攒够一批再放。

架构上,官方讲了三处改动。一是主干网络加精炼网络的双阶段设计:主干在低分辨率下管结构、语义和动作走势,精炼网络异步补纹理和面部细节,两条线并发,细节不会拖慢实时推理。二是重新设计了位置编码,让中途加进来的参考图和当前推流时刻对齐,只影响后面的画面,不去改已经生成的部分。三是引入一个轻量 VLM Agent,盯着人物状态和动作进度,上一个动作做完再执行下一条指令,减少动作抢跑和肢体穿模。

参数规模、上下文长度、知识截止时间这些语言模型常见的指标,官方没有公布,我也不替它猜。权重方面,目前没有看到官方放出权重或开源协议的信息,按闭源产品对待比较稳妥。另外它还演示了空间视频:把实时生成或实时编辑的画面转成左右眼视频,用 VR 头显观看,论文里把这部分定位为可行性探索。

能力和成绩

成绩来自生数自己的技术报告。官方说,S2-Avatar 在实时数字角色基准 StreamAV-Bench 的九项指标上,都拿到了报告所列对比模型里的最好结果;S2-Editing 在多个视频编辑基准上,总体得分超过了报告所列的离线和流式对比模型。

读这类成绩要留个心眼:基准和对比对象都在报告里划定,是厂商自测,不是第三方复现。具体分数这里不搬,想看细表可以去读论文。比起排名,我更看重它的能力边界:动作幅度大一些的指令,比如跳舞,S2 的响应比 S1 强;生成途中还能随时塞进人物、服装、道具或场景的参考图。

怎么用、多少钱

在 Vidu 官网的 vidu-stream 体验页就能直接玩,官方同时开放了 API,登记的 API 名称是 vidu-s2。官方说产品还在打磨,希望用户当作开放实验一起共创。

计费不是一个价走天下,而是分成实时 Avatar、组件 Avatar、非实时 Avatar 和 Editing 四类,按生成秒数计 credit。有第三方整理了官方价目页的数字:每个 credit 约 0.005 美元,实时 Avatar 每秒 1.5 credit,其余三类每秒 1 credit,算下来跑一分钟实时 Avatar 大约 0.45 美元。国内外平台的价格和额度可能不一样,下单前请以官方价目页为准。

和谁比

跟上一代 S1 比,差别很具体:S1 做到了让数字人从播放内容变成实时回应,S2 把分辨率从 540p 提到 720p,加了随时更新的动态参考,加强了跳舞这类动作指令的跟随,更大的变化是多了 Editing,从能回应走到了能被改写。

跟常见的离线视频模型比,两边根本不在一条赛道上。离线模型是一次生成一段成片,画质和时长上有各自的打法;S2 追求的是持续输出和低延迟,画面分辨率停在 720p,更像一场直播,而不是一部精修的短片。它的价值在响应速度和可操控性上,别拿成片画质去硬碰硬。

适合谁

做直播和电商的内容团队可以先试试:数字人带货、实时换装、换背景,正好是 S2 的主场。做互动应用的开发者也值得看 API,实时 Avatar 和空间视频给了新的玩法。做选型的技术负责人要看清三点:闭源、按秒计费、论文里的帧率来自研究系统,不是各种硬件上的生产保证,延迟和并发要自己压测。

AI主线的看法是:视频模型正在从交付一个文件,变成运行一个可以被随时改写的系统,S2 是这条路上目前最容易上手的一个入口。它的短板也很清楚,720p 的画质、闭源的限制和仍在打磨的产品形态,都决定了它更适合先拿来验证想法,再决定要不要接进正式业务。

相关话题与公司