Claude 轨迹直通 MLflow，agent 出错终于能查案
agent 交上来一份像模像样的答案，你总觉得哪儿不对。是漏看了一条发布说明，还是把同一份文档读了三遍？光盯着最终答案，这事儿根本查不出来。
11 月 3 日，Databricks 发文说，MLflow 成了 Claude Platform 原生 OpenTelemetry 导出的受支持目的地。Anthropic SDK、Messages API 和 Managed Agents 的追踪数据都能直接送进去，存进 Unity Catalog 的表里。我们 AI主线 的看法是：Claude 的 agent 追踪数据现在能落进受 Unity Catalog 管控、可以用 SQL 查询的数据表，补上了企业把 agent 推进生产之前最缺的一块，出了事能翻账。至于“能导出追踪数据”这件事本身，Anthropic 10 月 14 日就开了公测，不算新鲜。
trace 是个啥，凭啥成了刚需？
先把词翻译一下。trace（追踪）就是 agent 干活时的行车记录仪：每调一次模型、每用一次工具，都记成一小段，叫 span，串起来就是一整条轨迹。OpenTelemetry 是一套通用的数据格式和传输标准，好比各家都认的同一种插头。
Anthropic 说，Claude 的追踪遵循 OpenTelemetry 的 GenAI 语义约定，所以 Claude 和其他模型商的数据能摆进同一块看板。官方文档里列出的合作平台有十六家，Datadog、Grafana Cloud、Langfuse、LangSmith、Snowflake 都在名单上，可观测这块算是卷起来了。Databricks 当时也在名单里，走的是 Unity Gateway 那条路，这次多出来的是 MLflow 这条。
有个默认设置得说一下。官方文档写明，默认的内容模式只带元数据，比如标识符、耗时、状态和 token 数，不带提示词和回复。想看完整对话，得自己切到完整内容模式。Databricks 的文章也强调，输入输出只有主动开了 full 才会被记录。
Databricks 这条路多给了什么？
多给的是下游。Databricks 说，span 通过 Zerobus Ingest 进来，官方的说法是低延迟、扛得住高 QPS，再落进 Unity Catalog 的表，权限由 Unity Catalog 管，SQL 也能直接查。（白话讲，就是把 agent 的行车记录存进公司的数据仓库，而不是丢在某个第三方面板里。）对什么都要审计的行业，这比花哨功能实在。
配置分三步：建一个绑定 Unity Catalog 的 MLflow 实验，设好导出目标（工作区 ID、地区、spans 表，外加表级 OAuth 令牌），然后跑任务看 trace。Claude Code 和 Agent SDK 也支持 OpenTelemetry，多设几个环境变量就能进同一个目的地。
官方演示里的“问题”，是手写的？
数据进去以后，Databricks 摆出了四样家伙。Analyze trace 让 Genie Code 帮你复盘一次执行。MLflow Issues 还在 Beta，会把“重复搜索浪费 token”“缺参数导致工具失败”这类毛病聚成一组。Review Queues 让领域专家给 trace 打分。Agent Evaluation 拿同一批用例，对比改提示词前后的得分。
哪些能当真？Databricks 在文章里自己写明了：演示里那个“重复读文档”的问题是手工写的，并没有真跑 Issue Detection。所以 Issues 抓得准不准，目前只有功能描述，没有公开实测，别当画饼，也别当已验证。Evaluation 的前后对比思路朴素，跟回归测试一个路数，更容易落地。
效果有多大？眼下最硬的数字来自客户自述。Anthropic 的发布稿里，Ramp 说他们靠 Langfuse 里的 trace 找重复失败、提修复方案，某些 agent 的 token 用量降了 10% 到 20%，会话快了 30%。这是客户的一面之词，没有第三方复核，方向却说得通：先看见重复读取，才谈得上砍掉。
别家的 agent 也能这么接吗？
拿 OpenAI 的 Agents SDK 对比。它默认开着追踪，数据送往 OpenAI 自家的 Traces 面板。想送去别处，按 Grafana、SigNoz 这些厂商的接入文档，得自己挂追踪处理器，社区里也有现成的 OpenTelemetry 桥接包。能用，但接线的活儿归你。Anthropic 这边，平台侧在 Console 里加一个目的地，SDK 侧注册一个 tracer provider，门槛矮一截。
各路人马的账不太一样。数据本来就在 Databricks 上的团队，这是顺手就接的事，权限和 SQL 都是现成的。个人开发者想在笔记本上试，有一条限制：MLflow 官方博客写了，平台侧导出到不了只跑在本机 localhost 的服务，得有个 Anthropic 能访问的远程 HTTPS 地址。
选型负责人手里有两个事实得摆上桌。整套东西还在公测。官方文档还写明，导出的 span 是尽力送达，可能丢，不能当完整的用量账本，对账得靠 Usage and Cost Analytics API。
接下来我盯两件事。一是 MLflow Issues 出 Beta 之后，有没有人公开跑出像样的效果。二是开了 full 模式，提示词和回复全进自家的表，脱敏和保留期这笔账，团队到底怎么算。