Together 让智能体自己调推理引擎，号称一天提速 2.6 倍

调一次推理引擎有多磨人？按 Together AI 自己列的表，传统做法每试一个改动，引擎从启动到能出活要 467 秒，近八分钟。一天下来，你能试几个想法？

11 月 4 日，Together AI 发布了 Together Compiler，内部简称 TKCC：让一批智能体不停地给推理引擎写优化，引擎常驻不重启，新改动直接热加载。官方说，不到 24 小时，Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 这几个开源模型的每秒生成 token 数（TPS）最高提升 2.6 倍。我们 AI主线 的看法是：Together Compiler 真正有分量的地方不是 2.6 倍这个数，而是把推理优化从工程师手写内核，改成了一条随流量变化持续运转的智能体流水线，并且已经在生产环境里跑。

每次重启 467 秒，智能体怎么提速？

先说痛点。让智能体优化推理引擎，老办法是每试一个想法，就把 vLLM、SGLang 或 TensorRT-LLM 这类引擎关掉重开。好比每尝一道新菜，都得把整个厨房拆了重搭。

TKCC 的做法是让厨房一直开着，只换菜谱。引擎只启动一次，候选的前向计算代码随时热替换。按官方的表，从启动到能服务，传统流程 467 秒，TKCC 只要 9.0 秒。官方说，这正是它的实验吞吐能比基线智能体系统高 252 倍的原因。

光快还不够，测得准同样要紧。只拿孤立的算子、喂随机数据去测，遇到 MoE（混合专家）和稀疏注意力这类依赖数据分布的结构就容易跑偏，随机数据里的赢家换成真实数据未必还赢。所以 TKCC 分两层：快引擎只加载几层，用来高速试错；慢引擎加载很多层，用来验证改动在真实数据上站不站得住。外加一个自研的成本模型，用硬件规格、微基准和实测的前向计算，分级挑出并行策略。

流量天天变，手调为什么不灵了？

Together 给的理由挺实在。它说自己观察到，某个国家工作时段的提示词长度是 9.7 万，另一个国家只有 7 万。新模型发布两周后，提示词长度还会涨 80%，因为用户从聊天转向了智能体用法。

模型这头也不消停。Together 说，OpenRouter 上最热门的十个开源大模型，没有两个用同一种架构，而且那里 80% 的流量流向了近三个月内发布的模型。硬件从 H100 到 B200、B300，再到刚要上线的 Vera Rubin，每一代要的打法都不一样。以前是工程师给每个组合写一套内核，现在组合多到写不过来。

有意思的是，Together 在同日的另一篇文章里承认，自己两年前写文章讲过的 megakernel（把一串小内核焊成一个大内核）路线，放到 MoE 和动态负载上并不是对的设计目标。可 TKCC 在 megakernel 最拿手的 Llama 1B、批大小为 1 的场景里，反过来比开源 megakernel 快 1.7 倍。旧作业让智能体给改了，这种事不多见。

跑分谁出的题，谁来监考？

数字得拆开看。2.6 倍是 Together 在 SemiAnalysis 的 InferenceX 的 AgentX 负载上，对照已公开的最佳开源引擎配置测出的“最高值”，不是平均值。官方页面正文写的是 2.6 倍，页面摘要标签里却写着 3.7 倍，两个数没对上，我会先按正文里更保守的这个算。

InferenceX 是 SemiAnalysis 做的开源基准，自称厂商中立、结果可复现。它的代码仓库致谢名单里，Together AI 在提供算力的支持者之列。这不等于有问题，只是读数字时心里要有这一层。

再看低延迟那两个成绩：批大小为 1，也就是一次只伺候一个请求，MiniMax M3.1-Flash 跑到 1111 TPS，DeepSeek v4.1-Flash 跑到 1205 TPS。这两组用的是 Together 自家成本模型挑的并行配置，不是 InferenceX 的默认配置。Trainium2 那一组干脆没用 AgentX，换成了合成的多轮数据集，脚注给的理由是现有实现在有限显存下撑不住更高并发。跑分党看到这儿应该明白，这些“最高”是各自设定里的最高，没法直接横着比。

跨领域那组更是如此。Together 拿 TKCC 对比带 /goal 命令的 Claude Code，在气象、偏微分方程、时序和生物四类开源代码库里，四个有三个找到了更大的加速，也就是说有一个没赢。这些结果目前都是 Together 自己跑的，我还没看到第三方的独立复现。

写代码和做选型的人，现在能拿到什么？

能确认的不多。Together 说 TKCC 已经跑在它一些最热门的无服务器端点上，客户侧目前是有限测试，之后会开放自助，一键给专属端点做优化。官方只说“很快”，没给时间表，也没提价格有任何变化。

对天天调开源模型 API 的开发者，直接的影响是：同一个模型换个服务商，速度和吞吐可能不一样，差距的一部分就来自这类底层优化。新模型上线后，多久能被调到接近手工调优的水平，Together 自己也列成了用户该有的期待。负责选型的技术负责人，我自己会拿两个问题去问服务商：新模型发布后你们多久能调好，流量形态变了你们拿什么跟。

AI主线 的判断是，这条路方向对，数字先打个折。推理服务正在从比谁囤的卡多，卷到比谁的智能体调得更快。接下来我盯两件事：自助版什么时候真的开给客户，以及 InferenceX 的官方看板上，能不能看到别人复现出同档成绩。