部署中学习 LWD 是什么？让机器人边干活边变强

部署中学习（Learning While Deploying，LWD）是一个让机器人在实际工作中持续进步的强化学习框架。它由上海创新研究院、智元机器人和哥伦比亚大学的研究人员在 2026 年提出，论文标题是《部署中学习：面向通用机器人策略的车队级强化学习》。核心想法很直接：机器人不该在出厂训练完就定型，而应该在真实的部署过程中不断学习、自我改进。

它要解决什么问题

如今的通用机器人策略，比如视觉语言动作模型（VLA），越来越依赖大规模预训练。但论文指出，只靠离线数据不足以支撑在真实世界里稳定工作。机器人上岗后会遇到训练数据里没有的情况：环境变了（分布偏移），罕见但会导致失败的情况（长尾失败），任务的各种变体，以及人类在旁边纠正它的机会。这些都是固定的示范数据集无法完全覆盖的。

怎么做

LWD 从一个预训练好的 VLA 策略出发，把一群部署在真实环境中的机器人组成一个“车队”，持续收集它们工作时产生的经验，包括成功的、失败的，以及人类纠正的数据，再用这些数据对策略做持续的后训练，形成“部署、收集、改进、再部署”的循环。技术上，它采用离线到在线的强化学习，并引入了分布式隐式价值学习（DIVL）和基于伴随匹配的 Q 学习（QAM）等方法，让大规模、异构的真实数据能够稳定地用于强化学习。

为什么重要

这个思路和大模型领域的经验相通：真实用户的反馈数据往往比实验室数据更有价值。对机器人来说，车队规模越大，收集经验越快，策略进步越快，这可能成为机器人公司的核心竞争力，就像自动驾驶公司依靠路上跑的车队收集数据一样。它也让机器人从“出厂即定型的产品”变成“越用越聪明的系统”。

当然，在真实环境中边部署边学习，也需要处理好安全问题：探索性的动作不能造成危险，策略更新前需要充分验证。