Together让智能体调推理引擎，一天内提速最高2.6倍，靠谱吗？
以前给大模型推理提速，是一帮 CUDA 老炮儿对着核函数熬夜抠出来的手艺活。现在 Together AI 说：这活儿交给一群智能体，不到一天就行。
11 月 4 日，Together AI 发布了 Together Compiler，简称 TKCC。官方说，它能在不到 24 小时内，把 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 这几个开源模型的吞吐最高提升 2.6 倍，而且已经在生产环境里跑着。我们 AI主线 的看法是：TKCC 值钱的地方不在 2.6 倍这个数，而在它把智能体做推理优化的实验速度拉高了 252 倍（官方数字），让优化从一次性的手艺活变成了跟着流量持续运转的流水线。
智能体搞优化，卡脖子的居然是等引擎启动
先说它到底解了什么。让智能体改推理代码，大伙早就在试了，卡点不在智能体够不够聪明，而在试一次太慢。主流做法是每验证一个想法，就把 vLLM、SGLang、TRT-LLM 这类引擎整个重启一遍。官方给的对照表里，这一套从拉起进程到能对外服务要 467 秒，将近八分钟。
TKCC 的招数叫“常驻引擎”：引擎只启动一次，之后新的候选实现直接热替换进去，不用重启，同一个环节压到 9 秒。好比做菜每尝一口咸淡，就得把灶台拆了重装，现在改成灶台不动，直接换勺子。多个智能体还会在一块“留言板”上互相通气，并行出主意，让引擎一直有新东西可测，不闲着。
还有个细节我觉得挺到位。只拿单个核函数在随机数据上跑分，MoE 和稀疏注意力这类依赖数据的结构，赢家可能换人。所以 TKCC 分了两档引擎：只加载几层的快引擎负责高速试错，加载很多层的慢引擎负责验证优化在真实数据分布下还站不站得住。速度和真实度，两头都想要。
2.6 倍、1205 TPS，水分有几成
官方的主战场是 SemiAnalysis 的 AgentX。这是 InferenceX 里专测智能体编码流量的开源基准，由 393 条真实 Claude Code 会话回放而成，单次请求的输入中位数约 14.2 万 token。Together 从各引擎、各硬件上已公开的最佳开源配置出发，说自己最高又抬出了 2.6 倍。
更扎眼的是低延迟成绩：批大小为 1 时，MiniMax M3.1-Flash 到了 1111 TPS，DeepSeek v4.1-Flash 到了 1205 TPS，官方说这刷新了 InferenceX 的低延迟成绩。1000 多 TPS 是什么概念？眼睛基本追不上的速度。
不过边界得说清：这两个数字用的是 Together 自家成本模型挑的并行配置，不是 InferenceX 的默认配置，测试也是 Together 自己跑的。AgentX 本身开源，原则上谁都能复现，眼下这还是一张自家成绩单。SemiAnalysis 8 月测过另一个低延迟引擎 TileRT，在单台 B200 解码服务器上跑 GLM5 FP8，最高约 500 tokens/s/user。模型和口径都不同，不能硬拿来比，但至少说明低延迟这条赛道不是 Together 一家在卷。
另一个能对照的是 Llama 1B、批大小 1 这个老牌测试，官方说 TKCC 比现成的开源 megakernel 快 1.7 倍。这是人类专家和传统编译器磨了很多年的地盘。有意思的是，Together 同一天的另一篇文章里自己都说，megakernel 融合已经不该是现在的设计目标了。
为什么这事偏偏是推理服务商来做
因为他们的靶子一直在漂。Together 说自己每天服务好几万亿 token，客户上千家。官方观察到，一个国家工作时段的提示词比另一个国家长 1.4 倍，新模型上线两周后提示词长度又会涨 80%，原因是用户从聊天转去跑智能体。流量一变，上一轮手调的优化就可能过期。
这个逻辑我认。手工调一次、管三个月的年代，确实过去了。Baseten 也公开过自家的智能体内核优化框架，说在 Qwen-Image 上把延迟降了 42.3%，用智能体做推理优化，不是 Together 一家在押。
还得泼点冷水。TKCC 的另一组测试，是拿它和直接用 Claude Code 的 /goal 命令比，对象是气象、PDE、时间序列、生物四类开源代码库。官方正文说能泛化到这些领域，图注写的却是四个里有三个找到了更大的加速。剩下那一个怎么回事，我想看看论文里怎么讲。
对咱们用户来说，现在能干嘛
用 Together 上开源模型的开发者，好处会直接体现在响应速度上。官方说 TKCC 已经跑在一些热门的 Serverless 端点上，这部分不用谁去申请。
想给自己的专属端点做优化的技术负责人，TKCC 目前对外只开了受限 beta，得联系 Together 销售申请。官方说之后会做成自助，让客户点一下就能优化自己的端点，具体时间没给。选型的兄弟们，下回跟推理厂商聊，我会多问一句：新模型上线后多久能调到位，流量变了谁来重调。
接下来我盯三件事：自助版什么时候放出来，别家能不能在公开榜单上复现这批数字，还有 Together 说的“新模型一出就逼近手调水平”能不能兑现。AI主线 的态度很简单，等有第三方数据再下结论。