Together AI 让智能体调推理，最高2.6倍，量产账没晒

模型三个月一换，架构各不相同，用户的请求形状还天天变，上个月手调好的推理参数，这个月还能打吗？

11 月 4 日，Together AI 连发两篇博客。一篇抛出新词“Polymorphic Inference”（多态推理），另一篇介绍配套的 Together Compiler：让一群 AI 智能体持续改写推理引擎的代码，官方称吞吐最高能拉到 2.6 倍。我们 AI主线 的看法是：Together Compiler 真正值钱的，是把智能体试错周期从分钟级压到秒级的工程办法，而“递归自我改进”的名头和 2.6 倍的成绩，眼下都还是 Together 自己说了算。

多态推理，是新词还是新问题

先把新词翻译成人话。Together 说，过去的“静态推理”是封闭模型、传统 Transformer、单一硬件的天下，调好一套配置能管很久。现在的开源世界更像自助餐厅，天天换菜单，连灶台都在换。

它给了两条依据。按 Together 自己引用的口径，OpenRouter 上 80% 的流量流向最近三个月发布的模型；当下最热门的十个开源模型，架构两两不同。再叠上硬件从 B200 换到 GB300，Vera Rubin 的首批部署也近了，一套写死的配置很难一直是最优解。

这个词有包装的成分，痛点是真的。官方举过一个例子：MoE 内核拿随机 token 测出来很漂亮，换成真实线上流量未必还漂亮。更有意思的是它自己认账的那段：两年前 Together 写过 megakernel（把整个模型塞进一个大内核），去年真上了生产才发现，这条路不是多态时代该追的目标。厂商肯公开认这种账，我给个好评。

真正的巧思，是“不重启”

让智能体优化推理，听起来不新鲜。卡点在哪？在试错太慢。

常规做法是每试一个改动，就把 vLLM、SGLang 这类引擎重新拉起一遍。Together 给的对照表里，一次完整启动要 467 秒，将近八分钟；它的“持久引擎”只启动一次，候选代码热加载，一次试验只要 9 秒。官方称实验吞吐因此是基线智能体系统的 252 倍。

打个比方：以前每尝一口汤都得拆灶台重装，现在火不熄，直接换勺调料。智能体再聪明，也架不住每试一次要干等八分钟。

它还搭了两层引擎：快的只加载几层，拿来高频试错；慢的加载更多层，专门检验改动在真实数据分布上站不站得住。这一步对应的正是前面那个 MoE 的坑。

2.6 倍和“RSI”，我先打个折

跑分党先别急着鼓掌。官方说，不到 24 小时内，Kimi K3、GLM 5.3 等几款开源模型的吞吐最高提升 2.6 倍，对照的是 SemiAnalysis 的 InferenceX 上公开的优化配置。低延迟、单请求场景下，MiniMax M3.1-Flash 跑到每秒 1111 个 token，DeepSeek v4.1-Flash 跑到 1205 个，Together 称这是该榜单上的新高。

这些成绩由 Together 自己跑、自己发，目前没看到第三方复现。官方页面摘要写的是最高 3.7 倍，正文写的是 2.6 倍，我按正文算。

线上呢？官方只说在几个最热门的无服务器端点上“找到了额外收益”，没说是哪个模型，也没给提升了多少。基准成绩和线上账，是两本账。另一组对比是 Llama 1B、单请求这个 megakernel 的主场，比公开的 megakernel 快 1.7 倍。能在别人主场赢是本事，可这个设定离线上主流的大 MoE 模型很远，别直接外推。

至于官方喊的“RSI 时刻”，被反复优化的是服务模型的那套代码，模型权重一个字没动。我觉得叫“推理栈自动调优”更贴切，RSI 三个字母有点蹭热度。

谁该盯着，接下来看什么

用 Together API 的开发者，眼下什么都不用做，速度可能悄悄变好。但两篇博客都没提价格，快了是延迟更低还是单价更低，没说。想给自己的专属端点用，目前是有限 beta，得找销售。

放到行业里看，今年夏天推理厂商轮番融资：Baseten 6 月 22 日拿 15 亿美元，估值 130 亿；Together 7 月 1 日拿 8 亿美元，估值 83 亿；Fireworks 7 月拿 15.05 亿美元。Baseten 的路数是工程师驻场帮客户调模型，Together 这次的回应，是用智能体蜂群替掉一部分人手。卷到这一步，比的已经不只是谁的 GPU 多，而是谁的调优循环转得快。

AI主线 接下来盯三件事：InferenceX 的成绩有没有人独立复现；自助版放开后，客户自己能跑出多少；Vera Rubin 真上线时，新硬件追到硬件上限要花多久。最后这条是 Together 自己立的标准，到时候就是考卷。