墨芯五个月再融近10亿,稀疏推理芯片的故事好听,账还得拆开算
一个 1.6 万亿参数的模型,每吐一个词只动用其中约 3%。这个数字摆在做稀疏计算的公司面前,简直就是现成的广告位。
11 月 3 日,做稀疏专用推理芯片的墨芯人工智能宣布完成近 10 亿元人民币 C+ 轮融资,距上一轮约 5 个月,两轮累计近 20 亿元。我们 AI主线 的看法是:这轮融资说明资本愿意押稀疏推理芯片,但它的芯片能不能扛住 DeepSeek-V4-Pro 这类万亿级 MoE 模型,这次披露的数据里还没有答案。
钱的去向交代得很清楚:稀疏推理芯片的全栈升级、下一代芯片预研,外加一个稀疏计算产学研联盟。投资方里有仁爱资本、海棠基金、东恒石油这样的产业方,也有比丘资本、派拉资本、中财资本等国资和财投机构。
那个 3%,和墨芯说的稀疏是一回事吗?
不是一回事,但能叠在一起。
先说 DeepSeek 这边。按官方模型卡,DeepSeek-V4-Pro 总参数 1.6 万亿,每个词元激活 490 亿,支持 100 万 token 上下文,MIT 协议开放权重,4 月 24 日先放出预览版。这是 MoE 的路数:模型里养着一大堆“专家”,每个词只叫几位出场,其他人在旁边歇着。
墨芯做的是另一层。它说的“双稀疏”,一边把权重里用处不大的数值砍掉,一边在计算时跳过激活里的零。打个比方:MoE 是这道题只请三位专家,墨芯是把每位专家手里的讲义再删掉废话。
两层省法能叠加,但前一层是模型在路由时就定了的,芯片得把这种忽东忽西的调用跑顺才算数。还有一点,MoE 省的是算力,1.6 万亿的权重照样得全放得下。这是我的判断,不是谁的实测。
夺冠的成绩,是哪一年的什么题?
墨芯自己的说法是,S30 计算卡在 MLPerf Inference 的部分类别里连续三届夺冠。听着唬人,但得看考题。
量子位 2023 年的报道里,当年夺冠的项目是 ResNet-50 图像分类,在开放分区,S40 单卡 127,375 FPS,图表上还标注了稀疏等效算力。ResNet-50 是认图的老模型,离 100 万上下文的万亿 MoE 隔着好几代。这是跑分党最熟的那类题,拿来证明“稀疏能提速”没问题,拿来证明“能接 V4-Pro”就不够了。
这次新放出的实测,是和北京大学一家研究院合作的两款遥感影像基础模型:几乎不损精度,也不用重新训练,推理吞吐最高提升 2.88 倍,模型压缩最高 7.64 倍。这是官方给的数字,对象是视觉模型,不是大语言模型。它证明稀疏化这套工具链能用,离 LLM 还差一步。
V4-Pro 缺算力,就轮得到墨芯吗?
需求是真的。DeepSeek 发布 V4 时自己说过,受限于高端算力,Pro 的服务吞吐十分有限,等昇腾 950 超节点批量上市后价格会大幅下调。5 月,路透报道 DeepSeek 把 V4-Pro 的 75% 降价改成了永久,价格区间是每百万 token 0.025 到 6 元。
但席位早有人坐了。V4 发布当天,华为昇腾超节点全系列宣布支持,寒武纪基于 vLLM 适配了 V4-Flash 和 V4-Pro。华为公布的数据是,8K 输入下昇腾 950 超节点跑 V4-Pro,每个词元约 20 毫秒时,单卡解码吞吐 4700 TPS(离线模式,不含调度开销,也是厂商自家数据)。推理芯片这两年卷成这样,墨芯要对打,拿出来的也得是这种口径的数字。
牌它也不是没有:推理集群已铺在西北、西南、华东、华北四大片区,和头部电信运营商合作,还参与了上海国资平台的海上算力 Token 工厂项目。第三季度营收“数倍增长”,基数没给,没法判断这个“数倍”有多重。
接下来盯什么
墨芯说新一代板卡 SP200 年底前问世,升级版软件栈 SECA 也即将发布,主打降低模型迁移和部署门槛。这两样我会盯。芯片好不好用,一半看硅,一半看软件栈,模型迁移顺不顺,开发者是用脚投票的。
真正想看的数字很具体:DeepSeek-V4 或同量级 MoE 模型上的每秒 token 数、长上下文下的表现、折算下来每百万 token 的成本,最好是第三方跑的。稀疏这条路本身我是认的,模型和芯片都在往“少算点”走。至于官方说的“代差优势”,AI主线 会等这些数字摆出来,再判断这个词配不配。