ESSAY·

从 Reward 到 Physical Agent:Dyna Robotics 具身智能学习讲义

从 Dyna Robotics 的部署经历出发,理解机器人怎样利用奖励、人类视频与世界模型学习,再检验这些能力如何在真实工作中兑现。

阅读导航 · 第 2 / 4 篇

一个机器人已经能把毛巾叠好,为什么客户还不一定愿意交给它工作?如果人类视频能让它学得更快,为什么还需要机器人数据?这篇文章围绕两个问题展开:能力怎样学出来,又怎样在真实工作中兑现。

材料来自硅谷101的《再访 Dyna Robotics:被部署教训了300天后,找到机器人 Scaling Law》。采访内容依据硅谷101署名访谈整理梳理,技术解释对照作者论文与企业报告。未取得可核对的完整字幕,因此本文不是逐字稿,也不提供未经核实的时间戳。事实核查截至 2026年10月28日。

文章从 Dyna 的现场经历讲起,逐步拆解背后的学习机制,再回到实验与部署,讨论怎样判断这些方法的实际价值。你可以顺着读,也可以从感兴趣的问题进入。

阅读入口适合谁主要内容建议用时
Dyna 的技术转向初次接触具身智能的读者,想把握行业变化的产品与业务同学讲清视频的核心问题、技术转向和部署教训10–15分钟
机器人如何学习想理解原理的学生、开发者和技术产品经理解释 Reward、VLA、WAM、数据迁移的因果关系30–40分钟
能力如何被验证研究者、机器人工程师、创业者及行业分析者审查实验、定位瓶颈、设计验证与部署决策40–50分钟,含练习

折毛巾、开机门与洗衣流程贯穿全文。每个例子既用来解释技术怎样起作用,也用来追问:什么证据说明它有效,换一种条件还是否成立?

标记含义:【采访】是嘉宾陈述;【研究】是论文或报告披露,企业自报告会注明;【推导】是机制分析或假设算例;【判断】是基于现有证据的评价。教学例子不冒充 Dyna 的实测结果。每道自测与推理题都配有可展开的解释;先自己回答,再看解释,能更容易发现理解上的缺口。

一、Dyna 的技术转向:从现场问题出发

理解 Dyna 的选择,可以从这条线索开始:现场提出要求 → 现有能力暴露缺口 → 寻找更可扩展的学习方式 → 回到现场检验。下面按问题重组采访主线,不按视频时间顺序复述;必要的技术补充另行标注。

1.1 起点:机器人“做完”,客户为什么还不满意?

【采访】Jason Ma 谈到折餐巾时,区分了两个数字:99.4% 按完成折叠计算;75% 指折好的餐巾中达到客户接受等级的比例。两者不是同一个成功率,也不能简单理解成“实验室99.4%,上线就跌到75%”。他还提到堆叠、速度与恢复的问题。访谈整理

【推导】想象一家洗衣房:机器人把毛巾折完了,但边缘不齐,放到架上又歪了,仍要人来返工。动作流程确实执行完了,客户的工作却没有真正减少。于是,“能不能做”要继续拆成“做得是否合格、能否连续做、出了问题谁来处理”。

学习要点:先问完成标准是什么,再看成功率有多高。后面所有模型讨论,最终都要回到这个标准。

自测 1|99.4% 和 75% 为什么不能直接比较?

回答:它们描述不同事件:完成折叠,以及完成后达到客户质量标准。

为什么:一个计算动作是否结束,一个计算产出是否合格。即使两者都写成百分比,分母和验收规则也不同;指标名字相似不代表可以相减。

判断边界:只有确认同一批次、同一统计口径后,才能把完成率乘以完成后的条件合格率,计算全部投入件中的合格率。采访本身不足以重建逐件记录。

1.2 Jason 的研究主线:怎样让机器知道自己在进步?

【采访】对谈把奖励研究、基础模型和创业经历联系起来。【推导】可以用一个共同问题理解这条线:人类知道什么是“做得好”,如何让机器人也能利用这些知识?

线索用日常语言理解它还没有直接解决什么
Reward、VIP、Eureka、GVL给学习过程更有用的评价:离目标多远,哪里做得更好有评价,不代表已经会产生可靠动作
VLA根据看到的场景和听到的要求,选择动作熟悉示范之外的偏差、接触与恢复仍需学习
WAM把“世界如何变化”的学习与动作学习联系起来预测更好,不自动等于现场工作更好
Physical Agent把技能组织成持续观察、执行、检查和纠错的工作流一次流程演示,不等于长期商用可靠性

Reward → VLA → WAM 是理解问题扩展的线索,不是三个同类产品的升级编号。奖励回答“怎样评价”,策略回答“怎样行动”,世界建模提供关于变化的学习信号。它们可以共同存在。

自测 2|为什么机器人有了“好坏判断”,仍可能不会做?

回答:判断结果与产生动作是两种能力。

为什么:你能看出一条毛巾叠歪了,并不表示已经知道夹爪应移动多少、用多大力、怎样避免滑脱。评价信号只能指导学习或选择,动作仍需策略与控制系统实现。

判断边界:这不意味着奖励不重要。没有正确评价,策略也可能熟练地优化错误目标;两种能力需要连接起来。

1.3 技术转向:为什么关注人类视频与 WAM?

【采访】Dyna 讨论了从 VLA 路线转向 WAM,以及扩大第一视角人类操作数据规模的思路。访谈整理

【推导】如果主要依靠机器人收集操作经验,每增加一批数据,都需要设备、操作者和运行时间。人类每天已经在操作大量物体;如果这些经验能被机器人利用,就可能扩大预训练的信息来源。

但“看过很多操作”到“自己的身体能完成操作”,中间还隔着一道桥。人手和夹爪不同,视角和动作接口不同,接触条件也不同。WAM 的研究思路,是让模型不仅学习动作,还通过世界变化获得更丰富的监督。这个机制怎样成立,第二部分会拆开解释。

【研究:企业自报告】Dyna-2 的材料不只是视频画面:手部追踪还提供伪动作信号;其 Scaling 实验中的动作执行也不要求在线生成未来视频。因此不能把路线理解为“看无标签视频,临场想象一下,就能直接控制所有机器人”。Dyna-2

自测 3|为什么“百万小时视频”不等于“百万小时机器人经验”?

回答:视频记录源身体的行为,机器人经验还包含目标身体实际执行后的反馈。

为什么:人手怎样动可以提供操作线索,但不能直接告诉某台机器人的关节、夹爪和控制器怎样实现它。视频还可能缺少接触力与失败后的纠正信息。

判断边界:应看这些视频是否减少了达到同等真机能力所需的数据与成本,而不是只看小时数。

1.4 Scaling Law:真正值得关注的是规模与能力之间的联系

【采访】“扩大数据后,能力是否持续改善”是对谈的重要问题。【研究:企业自报告】Dyna-2 报告了从人类数据预测、到机器人数据预测、再到后训练实机评测的证据链。技术报告

【推导】这条链每向前一步,都多回答一个问题:数据中是否有规律;这些规律是否能跨到机器人;机器人能否在实际执行中利用它们。业务价值还需要再走一步:能否在客户现场持续交付合格产出。

学习要点:Scaling Law 不是“只要继续堆数据就能解决一切”。它是在指定训练、数据和测试条件下发现的经验规律。第三部分会具体分析实验阶梯、53%的指标口径,以及哪些结论尚不能推出。

自测 4|机器人离线预测更准,为什么还需要真机测试?

回答:因为执行会改变下一步遇到的场景,离线测试通常沿着已经记录好的轨迹评分。

为什么:例如预测抓取动作只差一点,离线误差很小;真机却因此没有抓住毛巾,接下来看到的是一条还在原处的毛巾。后续输入已经偏离记录轨迹。

判断边界:离线评估仍适合快速比较与定位问题,但不能单独替代闭环执行、质量和恢复验证。

1.5 从折毛巾到 Taku:为什么最终要做完整工作?

【研究:企业自报告】Dyna-2.1 / Taku 把编排、操作策略与全身控制组合起来,并展示连续洗衣流程;报告同时把客户现场验证列为下一阶段。这是公开技术资料对视频主线的补充,不代表完整洗衣业务已经规模化商用。Dyna-2.1

这里有一个容易被模型讨论盖住的产品转折。【研究:企业自报告】Dyna-2.1 报告指出,早期折叠任务即使能连续运行,人仍要补充餐巾、清走成品;局部动作更快之后,这些交接会更频繁。因而,下一步不只是继续提高“折一次”的成绩,而是扩大机器人可以独立负责的工作范围。工作流与单任务的区别

【推导】如果员工每隔一会儿就要回来上料、搬运、确认机器状态,那么机器人可能省下折叠时间,却仍把人拴在工位附近。完整流程的价值,在于把频繁、同步的照看,尽量变成间隔更长的交接。移动能力、状态识别和任务编排因此成为产品要求,而不是为了增加一个更醒目的机器人外形。

【推导】从“会折”到“能负责一批衣物”,增加的是前后依赖:衣物放在哪里,机器是否真的启动,下一步能否提前安排,失败后恢复到哪里,最后谁确认交付。客户是否受益,取决于这些环节有没有减少人的负担。

这也解释了为什么模型、数据、本体和商业场景必须一起讨论。模型决定如何利用经验,数据决定能学到什么,本体决定能观察和执行什么,现场验收决定这些能力是否有用。

自测 5|只学第一部分,应该怎样向别人复述这期视频?

回答:Dyna 的核心探索,是让更大规模的人类经验转化为机器人能力,再让这些能力进入可持续工作的系统。

为什么:可以按四句话说明:部署暴露质量与恢复问题;人类视频提供扩展经验的可能;WAM 连接世界学习与动作学习;Scaling 实验和真实流程分别检验学习收益与交付价值。

判断边界:同时补上一句:企业实验、流程演示和长期客户运行是不同证据,不能合并成“通用机器人已完成”。

读到这里,你已经可以理解视频的主要论点。如果想知道“这些能力究竟怎样学出来”,继续第二部分;如果你已熟悉机器人学习,可以直接进入第三部分的证据分析。

二、机器人如何学习:从奖励到世界模型

要理解这些方法为什么可能有效,可以按学习目标 → 策略输出 → 世界表征 → 数据迁移 → 身体执行的顺序学习。公式只用来澄清关系,每个符号都有解释;无需先推导训练算法。

2.1 先分清五个角色,避免把所有能力都归给“大模型”

【教学分解】假设目标是把毛巾折好并放上架,同一过程可以拆成五个角色。这是分析框架,不是 Dyna 的精确软件模块图。

角色输入与输出在折毛巾中的作用典型误解
任务与验收业务要求 → 可检查的规格定义尺寸、朝向与最终位置“模型觉得好了”就是客户接受
Reward / 评价状态或结果 → 学习分数、进度信号指出是否更接近目标分数本身就是下一步动作
Policy / 策略观察、目标、身体状态 → 动作选择抓哪里、怎样折策略输出一定能被硬件实现
World Model / 世界模型当前信息及可能的动作 → 变化预测或表征帮助学习物体怎样随操作变化预测画面逼真就理解了全部物理
Controller / 控制器动作目标与反馈 → 身体执行跟踪位姿、协调关节、修正偏差控制器可以补救任何错误任务目标

讲解思路:先问某项方法改变了哪一个角色,再追问它通过什么接口影响最终质量。这样就能看出:奖励研究不是直接替代动作模型,世界预测也不是直接替代控制器。

2.2 Reward、VIP、Eureka、GVL:把人类知识转成学习信号

【采访】对谈把 AlphaGo 的启发、VIP、Eureka、GVL 与创业联系起来。【推导】贯穿其中的问题可以概括为:怎样把人类已有的知识,变成机器人可以利用的监督与反馈? 这是对研究问题的归纳,不是对个人经历的额外补写。

阶段要解决的问题方法上的变化尚未消除的缺口
RL / AlphaGo 启发如何通过试错获得有效行为?用奖励和环境反馈优化策略真实机器人没有现成、廉价且完美的试验环境
VIP没有动作标注的视频能否提供目标接近度?从视频学习价值相关表征看起来接近目标,不一定满足物理约束
Eureka奖励程序能否减少人工编写?LLM 生成奖励代码,训练反馈推动迭代仍依赖环境、可观测变量与评价标准
DrEureka仿真学到的策略怎样适应真实物理条件?在奖励之外生成域随机化配置仍依赖模拟器、任务定义与真机迁移验证
GVLVLM 能否直接估计任务进度?用上下文推理获得视觉价值信号进度估计不等于可靠控制或质量验收
Dyna 的产品研究模型怎样满足实际工作要求?把学习问题与现场验收连接必须同时解决数据、身体与运行系统
VLA / WAM / 数据扩展怎样获得可复用的动作能力?比较不同预训练基础和监督方式迁移、恢复与成本仍需独立验证

VIP、Eureka、DrEureka、GVL 不是逐代替换关系:它们分别研究表征、奖励程序、模拟训练条件和价值估计,可以互补。Reward→VLA→WAM 也不是同一类别的升级编号:Reward 是学习信号,VLA 是动作建模方式,WAM 强调世界与动作建模的联系。研究脉络可参阅 Jason Ma 作者主页。

先理解“怎么评价”,再理解“怎么行动”

强化学习(Reinforcement Learning, RL)让策略通过环境反馈优化长期结果。策略是“怎么做”,奖励函数(Reward Function)是“做得怎样”。一个常见形式是:

rt=R(st,at),J(π)=Eπ[∑t=0Tγtrt]r_t=R(s_t,a_t),\qquad J(\pi)=\mathbb{E}_{\pi}\left[\sum_{t=0}^{T}\gamma^t r_t\right]

人话解释:在状态 sts_t 采取动作 ata_t 后获得分数 rtr_t;策略希望长期累计分数更高。γ\gamma 是折扣因子,用于调节未来奖励的权重。这个数学目标是否对应客户价值,取决于奖励怎样定义。

以折毛巾为例:只在最后通过验收时给分,是稀疏奖励(Sparse Reward);按边缘对齐、位置接近等中间进展给分,是稠密奖励(Dense Reward)。奖励塑形(Reward Shaping)是在原目标外增加引导信号。它可能加速学习,也可能制造捷径:机器人优化了“看起来整齐”,却把毛巾藏出镜头。

学习奖励(Learned Reward)由数据训练得到;视觉奖励(Visual Reward)从图像判断进展;语言生成奖励(Language-generated Reward)可指由语言模型生成可执行评价程序。这些概念可以重叠,不能当作互斥分类。纯行为克隆可以直接学习示范动作,并不要求显式环境奖励。

这些研究分别改变了什么

【研究:VIP】Value-Implicit Pre-training 把视频表征学习与目标条件价值学习联系起来,得到可用于下游控制的视觉奖励依据。直觉是:在合适的表征中,“现在离目标还有多远”比像素差更有意义。它不是从普通视频直接输出机器人关节命令。论文

【研究:Eureka】LLM 读取任务与环境信息,生成奖励代码,再利用 RL 训练结果迭代奖励。真正产生动作的是训练出的策略,LLM 在此主要改进训练信号。它减轻奖励工程,但不能保证仿真正确,也不能自动消除奖励投机。论文与项目

【研究补充:DrEureka】Jason Ma 的相关研究还把问题推进到 Sim-to-Real:在奖励之外,怎样选择训练时应变化的物理参数?DrEureka 先利用策略在不同模拟条件下的表现形成依据,再让 LLM 生成域随机化配置,用这些条件训练迁移到真实设备的策略。DrEureka 项目

【推导】例如,模拟中的摩擦、质量和执行响应不可能与现实完全一致。如果只在一组参数下训练,策略可能学会依赖模拟器的偶然条件;若变化范围随意扩大,又可能使训练过难。DrEureka 的意义,是把“怎样安排练习环境”也纳入自动化设计。它仍依赖可用模拟器和任务定义,并不证明任意机器人都能免校准迁移。这是补充研究脉络,不把它写成此次采访已经逐项讲解的方法。

【研究:GVL】Generative Value Learning 让 VLM 根据任务估计视频帧的完成进度,并通过打乱帧顺序减少“越靠后越成功”的捷径。它主要得到进度/价值信号,不是像 Eureka 那样编写奖励代码。进度排序正确,也不保证能发现毫米级缺陷。论文

【推导】三者与基础模型的联系,是利用预训练知识减少任务专属标注;它们没有使目标定义变得多余。最终仍需要知道什么叫成功、哪些错误必须惩罚,以及评价器何时不可信。

用同一个失败理解三种方法

【教学例子】毛巾最后一角没有对齐。VIP 可以帮助构造“当前观察与目标状态的距离”;Eureka 研究的是怎样生成并迭代训练奖励代码;GVL 则尝试判断当前画面对应的完成进度。三者都在改进学习信号,但提供信号的位置与形式不同。

如果相机角度让那一角看不见,视觉评价可能无法发现缺陷。这时再优化同一个分数,也可能只是把盲点优化得更稳定。解决思路要回到观测与验收:是否需要不同视角、可测量的规格,或者另一种检查方式?评价信号的质量,受它能看到什么和被要求评价什么共同限制。

自测 6|Eureka 自动生成奖励后,谁真正控制机器人?

回答:通过强化学习训练出的策略负责输出动作;LLM 在该方法中生成与改进奖励代码。

为什么:训练环节先根据奖励评价行为,再更新策略。部署时用的是学到的行为能力,不能把训练时的代码生成过程理解成语言模型逐时刻发送电机命令。

判断边界:自动写奖励并不自动给出正确验收标准。奖励若偏离目标,策略仍可能利用评分漏洞。

自测 7|GVL 为什么打乱帧顺序?打乱后就证明理解任务了吗?

回答:打乱顺序能减少“越靠后进度越高”的时间位置捷径,但不能单凭这一操作证明全面理解。

为什么:若直接按视频顺序评分,即使不看物体状态,也可能得到看似合理的递增分数。打乱后,模型更需要根据画面和任务判断进展。

判断边界:循环、返工、视觉相似却质量不同的状态仍需另测。进度估计不是经过校准的产品合格概率。

2.3 VLA:从“看懂要求”到“输出动作”

视觉语言动作模型(Vision-Language-Action Model, VLA)把视觉观察和语言目标连接到动作。最直观的例子是:看到桌上的毛巾,收到“折好并放在左边”的要求,输出接下来一段操作。

输入中的 Vision 可以是单帧、多视角或历史图像;Language 指定任务和约束;还可能加入本体感觉(Proprioception),例如关节位置、速度与夹爪状态。Action 可以表示关节目标、末端位姿变化或夹爪命令,并不一定是电机力矩。

at:t+H−1∼πθ(⋅∣o≤t,qt,g)a_{t:t+H-1}\sim\pi_\theta(\cdot\mid o_{\le t},q_t,g)

人话解释:策略 πθ\pi_\theta 根据过去和当前观察 oo、身体状态 qtq_t 与目标 gg,生成未来 HH 步动作。状态通常不能被完全看见,因此这里写“观察历史”比默认已知完整世界状态更贴近机器人。

动作块(Action Chunk)是一次预测的一段动作;轨迹(Trajectory)是随时间展开的状态、动作及其他记录。执行动作块的一部分后重新观察,可以在计算效率与反馈速度之间折中。动作块过长,可能来不及纠正滑动;过短,则可能增加推理负担或动作不连贯。

【研究】OpenVLA 提供了可检查的 VLA 实现;PI 的 π₀ 展示了基于流匹配的连续动作生成。流匹配可直观理解为学习如何把噪声逐渐变成符合观察和任务的动作样本。OpenVLA、π₀

【推导】常见困难是动作监督昂贵、示范覆盖不足、闭环偏离后缺少恢复经验,以及推理延迟影响控制。不过,“只能模仿”“没有记忆”“不能使用 RL”都不是 VLA 的定义。模型输入输出、训练方法和系统架构是不同维度。

为什么训练误差小,执行仍会偏离?

【推导】假设示范中每次都抓住毛巾一角,策略主要学到的是“抓住之后怎样折”。部署时偶然抓空,下一帧变成了示范中很少出现的状态。它如果仍按原动作继续,就会把一次小偏差扩展为整段失败。问题包含偏离后的状态覆盖,不能只靠提高熟悉轨迹上的拟合精度解决。

纠正示范、包含失败与恢复的经验,或适当的交互训练,都可能提供新的学习信号。这里要区分两件事:VLA 定义输入输出联系;行为克隆、强化学习等描述怎样训练。改变训练方法,不必改变 VLA 这个输入输出范式。

自测 8|动作块越长是否越好?

回答:没有统一最优长度,要在执行连续性、计算负担与及时纠错之间权衡。

为什么:一次预测很长的动作,可能减少调用次数,却让系统较晚处理毛巾滑落等变化。短动作块能更频繁重观察,但也可能增加计算和衔接负担。

判断边界:模型输出的动作块长度,不一定等于实际一次执行的长度。判断时要问执行多久才重新观察,以及整条反馈链的延迟。

2.4 WAM:为什么多学一个“世界怎样变”的目标?

世界动作模型(World-Action Model, WAM)把世界变化的学习与动作生成联系起来。学习“下一步把手移到哪里”,与同时学习“这样操作时物体会怎样变化”,提供的监督并不相同。

【研究:企业自报告】Dyna-2 使用视频扩散基础、相互连接的视频与动作 Transformer,以及流匹配训练。特别重要的是:其 Scaling 实验采用共享表征的视频/动作共同训练,动作推理不生成或读取预测的未来视频。Dyna-2:架构与训练目标

【采访】Jason 还提到,采访时的新模型已具备推理阶段生成视频的能力,团队在权衡收益与成本。访谈中的版本说明因此,下文“不必在线生成”的说明专指所分析的实验配方;它不代表 Dyna 后续所有版本都采用同一执行方式,也不把未公开细节当成已验证架构。

【推导】可以用一个教学式表达这种训练思想:

L=Laction+λLworld\mathcal{L}=\mathcal{L}_{action}+\lambda\mathcal{L}_{world}

人话解释:模型既因动作预测不准受罚,也因世界预测不准受罚,λ\lambda 调节两者权重。这个简式不是 Dyna 完整损失函数;它强调辅助目标可以塑造表征,而不要求执行时把预测结果显式交给规划器。

例如,模型若学会区分“手在动、布没动”和“手与布一起移动”,就可能获得与抓取是否有效有关的表征。这是机制解释,不是证明模型已经理解摩擦或因果关系。

需要区分的设计世界预测怎样参与必须额外验证什么
训练时辅助预测通过共享表征改善策略去掉辅助目标后,控制是否变差
联合生成视频与动作两种未来输出相互约束动作、画面与真实反馈是否一致
预测后规划比较候选行动的未来结果模型误差是否导致规划选错

【判断】WAM 的价值应由迁移效率和闭环表现证明。“更会预测”是中间能力,不是生产可用性的同义词;一家公司的受控对照也不能宣判整个 VLA 类别失效。

从辅助任务到控制收益,中间经过了什么?

【推导】理解 WAM 可以走三步。第一,视频包含手与物体共同变化的信息。第二,预测这些变化可能迫使共享表征保留对交互有用的特征。第三,动作策略如果能利用这些特征,才可能在新物体或新场景中做得更好。

关键是第三步并非必然。例如背景屏幕变化很大,却与抓取无关;模型可能花很多能力预测屏幕,而不是学习毛巾是否被夹住。辅助任务有价值,需要它保留的信息与控制目标有关,且策略确实能利用这些信息。

因此应同时问两个问题:世界预测任务是否改善了表示;在匹配预算后,动作质量是否随之改善?前者解释机制的可能性,后者验证它对控制的实际价值。

自测 9|训练时预测未来,为什么执行时可以不生成未来视频?

回答:辅助预测可以改变共享表征,让动作分支使用这些已学到的特征,而不必每次输出未来画面。

为什么:类似学习时做一种额外练习,收益体现在学到的内部能力。这个类比只说明训练与执行职责不同,不表示模型已经获得人类式理解。

判断边界:Dyna-2 Scaling 实验变体支持这种区分;其他模型可以采用在线预测再规划。不能用一个版本替所有 WAM 定义执行方式。

自测 10|视频预测更好,是否就证明 WAM 控制更好?

回答:不能,还必须检查闭环任务结果。

为什么:视觉指标可能奖励背景、纹理和光照的预测,却忽略决定抓取成败的细小接触变化。策略能否利用表征,也需要独立检验。

判断边界:保持数据、参数和计算可比,比较有无世界目标时的控制质量,是更有说服力的证据;仅比较两段生成视频不够。

2.5 世界模型的边界:看起来相同,物理原因可能不同

世界模型(World Model)学习环境怎样变化。在动作条件形式下,可写为:

s^t+1∼Pθ(⋅∣st,at)\hat s_{t+1}\sim P_\theta(\cdot\mid s_t,a_t)

人话解释:给定当前状态和动作,预测下一状态。机器人往往只能获得图像与传感器信息,因此实际模型可能预测未来图像、潜在表征,或对不可见状态的概率分布,而不是完整物理状态。

可见的变化,与不可唯一确定的物理量

【推导】视频能提供位置变化、形变、接触的视觉迹象,也可能间接帮助推断重量和摩擦。但一扇静止的门,仅凭外观可能无法区分“很重”“被锁住”或“铰链阻力大”。问题不是视觉对物理毫无帮助,而是同一观察可能对应多个物理原因。

视觉动力学(Visual Dynamics)关心可见场景怎样变;物理动力学(Physical Dynamics)还涉及力、质量、接触约束和不可见状态。生成看起来合理的后续画面,只说明模型在该评价下预测得好,不自动支持准确的反事实判断:“如果我改用另一种力度,会发生什么?”

此时,力/力矩、触觉、本体感觉与主动试探可能补充信息。也不必预设所有任务都需要所有传感器:搬轻质箱子与精密插接的可观测性要求不同。

与相邻方法的关系

方法核心问题与动作的关系
Video Prediction接下来会看到什么?可以没有动作条件
Latent Dynamics压缩表征怎样演化?可用于策略、规划或辅助训练
JEPA如何预测目标的嵌入表征?本身不是机器人动作控制方案
Model-Based RL如何利用学到的动态模型改善决策?可以做规划或生成训练经验
WAM如何连接世界学习与动作学习?实现可以有不同的预测/执行关系

【研究】V-JEPA 2 提供了从视频表征到动作条件世界建模的一种研究路线,但不是 Dyna 实现的说明书。作者论文

【判断】机器人不一定需要显式写出物理方程;它需要对决策足够有用、遇到变化仍可依赖的表征。关键检验不是能否口头解释物理,而是换重量、换摩擦、换接触方式后能否正确调整行动。

自测 11|面对外观一样的两扇门,为什么可靠系统可能需要试探?

回答:因为相同画面可能对应锁住、很重、铰链阻力大等不同状态。

为什么:这些状态要求不同动作。只用当前外观无法唯一分辨时,允许范围内的轻微试探或额外传感器可以提供新的观察,让下一步决策更有依据。

判断边界:试探本身也有代价和约束。这个例子说明信息不足时应保持不确定性,不是要求机器人无条件用更大力尝试。

2.6 百万小时数据:从数量走到有效信息

【研究:企业自报告】Dyna-2 的人类数据包含第一视角操作视频;合格的手部追踪提供腕部位姿及抓取代理信号,作为伪动作监督。因此不能将整套训练概括为“百万小时无标签视频”。数据说明

【推导】第一视角数据的吸引力是手、对象与操作过程经常出现在同一局部场景中,可以学习交互顺序、可操作部位(Affordance)、遮挡和结果变化。无需先配置一台目标机器人,也更容易覆盖不同人和不同环境。

代价是相机运动、遮挡、动作估计误差,以及人和机器人的身体差异。所谓“小时数”不能替代有效交互数量:固定镜头等待一小时,与持续处理多种异常的一小时,提供的信息很不相同。

数据类型规模与成本的通常特点动作与物理信息本体一致性主要用途与缺口
Internet Video来源广;筛选成本可能高多数无机器人动作,镜头与剪辑复杂低广泛表征预训练;任务相关性需筛选
Egocentric Human Video不占用机器人;追踪和质检有成本人手交互与视觉变化,可估计伪动作中间存在身体差异操作知识预训练;不是现成控制标签
Teleoperation Data消耗机器人与操作者时间真实观察—动作配对,可采纠正对目标设备较高适配与质量提升;覆盖面受采集限制
Robot Autonomous Data依赖设备在线时间与可安全探索范围策略实际成功、失败和恢复经验高发现部署分布;失败需要准确标注
Simulation Data环境建好后易并行;建模有成本可获得状态、动作和接触量取决于仿真准确度控制学习与极端情况;存在 Sim2Real Gap
Synthetic Data可大量生成;验证真实有效性有成本标签和物理一致性取决于生成方法不保证扩充覆盖;不能用生成规模代替真机检验

这张表是方法比较,不是 Dyna 的采购配方;仿真数据也是合成数据的一种,这里单列以区分物理模拟与其他生成方式。预训练和后训练是常见用途,不是绝对划界。

【判断】人类视频可能让预训练不再完全受机器人采集速度限制;真正的价值是减少达到同等真机能力所需的成本,而不是只把数据总量写得更大。

学习者应该怎样拆解“数据有效”

【推导】先看覆盖:有没有相关任务、对象、环境和失败;再看对齐:画面与动作是否对应同一时刻、同一坐标;再看可信度:手部追踪的伪动作有没有错误;最后看可迁移性:源数据的信息能否被目标身体利用。

例如一百段几乎相同的成功折叠,可以增加某种动作的重复练习,却未必教会系统处理湿布粘连。这里不能简单把“多样性”当成越多越好:无关任务也会占预算。合理目标是让新增数据补上目标能力的真实缺口,并通过留出场景验证。

自测 12|如何判断新增十万小时数据有没有价值?

回答:比较在相同验收目标下,它是否提高能力或减少所需的真机适配成本。

为什么:总时长只反映数量;如果新增内容高度重复、与任务无关或标签有误,学习收益可能有限。应看新增信息覆盖了哪些此前缺少的条件。

判断边界:公平比较还要说明计算预算和适配预算。更多数据同时训练更久时,不能把全部提升都归给数据内容。

2.7 跨本体:共享的是知识,执行仍要落到具体身体

本体(Embodiment)包括身体形态、运动范围、执行器、传感器和动作接口。跨本体学习(Cross-Embodiment Learning)是让不同身体的经验发生有用迁移,不意味着同一关节向量可以直接复制。

【推导】人手转瓶盖时,能共享的是目标关系、操作顺序和部分运动模式;机器人还要解决夹持方式、接触力、可达性与动作转换。可以把迁移拆为三层:

  1. 任务语义:瓶盖需要相对瓶身转动,不能只移动整瓶。
  2. 任务空间:手或夹爪应到哪里、朝向如何、与对象保持什么关系。
  3. 身体执行:哪些关节、力矩与反馈能够实现上述约束。

【研究:企业自报告】Dyna-2.1 使用 Unified Robot Representation(URR),以腕、肘、胸部及底盘位姿连接人类与机器人动作,再交给控制器落实。其策略预训练混合人类与机器人数据;不能套用 Dyna-2 特定 Scaling 实验“人类数据单独预训练”的描述。Dyna-2.1:数据接口

【推导】统一表示能减少接口差异,却不能消除身体约束。目标手部位置可达,不代表整条手臂不会碰到机门;视觉动作相近,不代表接触力合适。因此 One Model → Many Robots 更合理的理解是:共享可复用知识,保留身体条件、适配与控制层。

研究跨本体能力时,应明确究竟没见过什么:机器人外形、动作接口、任务,还是环境。Open X-Embodiment 的跨机器人研究可以作为比较基础。作者项目

统一表示为什么有用,又为什么不够?

【推导】把不同身体的动作表达成手腕位置等任务空间目标,相当于先统一“希望达到什么状态”。这让不同来源的数据有机会共享含义。随后还需要回答“这台身体怎样达到它”:关节范围、碰撞、夹持结构与控制误差仍然不同。

对跨本体迁移的理解,应从“复制动作”转向“共享约束,再由身体实现”。如果源任务依赖灵巧手的独立指尖动作,而目标夹爪没有这种能力,即使坐标格式完全一致,也可能无法执行。统一接口减少的是表示差异,不是物理差异。

自测 13|同一策略换到另一台机器人,为什么仍可能需要适配?

回答:因为任务空间目标相同,不表示身体的运动学、接触和反馈也相同。

为什么:同样的手腕位置可能在一台机器上可达,在另一台上超出关节范围;同样的抓取姿态,也可能因夹爪结构不同而滑脱。适配把共享知识落实为可执行行为。

判断边界:必须报告修改了什么:控制器、身体条件、校准还是策略本身。共享基础模型与整套系统零适配是不同主张。

2.8 模型、数据、本体与基础设施:为什么不能只改一个分数?

【推导】模型、数据与身体不是可以脱离彼此排名的三个因素。更强的模型不能让短机械臂够到远处;更好的执行器不能补出从未观察到的任务要求;更多数据也不能纠正一个不可辨识的传感问题。

硬件或系统约束怎样限制模型
Actuator:执行器带宽与力矩限制加速度、接触响应和可承载动作
DOF:自由度与关节范围决定能否绕过障碍、实现某些姿态
Sensor:视角、触觉与噪声决定哪些状态可被区分
Control Frequency:控制频率决定反馈能多快修正误差
Latency:推理与通信延迟使动作基于已经过时的观察
Payload:负载限制可操作对象及保持稳定的方式
Precision / Repeatability决定小误差任务能否稳定达标

Hardware-first 先解决身体能力,风险是软件来不及兑现;Model-first 先追求经验复用,风险是交付接口与设备限制;Co-design 则共同优化,代价是组织和迭代复杂度增加。没有一种路线能仅凭名字保证成功。

One Model → Many Robots 可以是“同一基础模型加身体条件和适配”,不一定是“一套权重、一个动作接口、零校准”。验证时应同时报告共享了多少、修改了多少以及额外成本是多少。

【研究:企业自报告】Dyna 的基础设施报告讨论多相机、状态与动作的时间对齐,以及存储、摄取、训练清单、缓存和作业恢复。其调整包括面向训练访问模式组织 MCAP 数据,而不是单纯增加 GPU。基础设施报告

【推导】对任何大规模机器人训练系统,都可以逐环检查:

环节应产生的可检查结果失败会怎样影响模型
Collection / Storage有来源、时间与设备标识的轨迹数据无法追溯,身体配置混淆
Cleaning / Filtering质量规则、去重记录、剔除原因重复或错标数据放大虚假规律
Label / Representation观察与动作对齐、坐标系清楚学到错误的观察—行为关系
Sampling可复现的训练清单与采样比例长尾被淹没,不同实验不可比
Training / Checkpoint权重、优化器与数据版本关联中断难恢复,结果无法重现
Evaluation / Deployment冻结的验收协议与模型版本挑最好一次演示,无法识别回退
Failure Logging原因、接管、恢复与最终结果数据只保留成功,下一版继续犯错

视频训练还涉及压缩率与随机访问的冲突:压缩更紧不一定读得更快;读取一帧有时需要先解码前面的若干帧。多流时间对齐错误,也可能表现得像“模型不够聪明”。

【判断】Robotics 有重要的 AI Infra 问题,但不等于它最终只剩基础设施问题。基础设施决定实验吞吐和可复现性,物理可观测性、学习方法与身体能力仍分别构成约束。

自测 14|观察与动作时间错位,为什么会被误认为模型“不够聪明”?

回答:因为模型可能被要求用一个时刻的画面解释另一个时刻的动作。

为什么:若手已经接触毛巾的画面配上尚未接触时的动作,训练会建立错误关系。增加模型容量可能更好地拟合这种错误,而不是恢复真实因果顺序。

判断边界:先用可追溯轨迹检查时钟、坐标、动作延迟和传感器同步,再判断是否需要换模型。

自测 15|更大的模型能否补偿所有硬件缺陷?

回答:不能。模型可以改善决策,但不能任意改变可达范围、负载或传感器提供的信息。

为什么:如果关键状态根本无法区分,或目标动作超出身体能力,问题不只是计算不足。必须先判断是知识、观测、执行还是控制约束。

判断边界:硬件变化也会改变数据分布与接口,因此换身体后仍要验证模型和控制系统,不能只比较硬件参数。

到这里,你应能画出一条因果链:训练目标决定从数据中保留什么,表征把信息交给策略,策略给出动作,身体与控制器执行,环境反馈检验结果。若某一环失效,不应把所有问题都称为“模型能力不足”。下一部分将把这条链用于读实验、判断商业主张与设计验证。

三、能力如何被验证:从实验到部署

判断一条技术路线是否值得继续投入,关键在于把一个主张拆成可检验的问题:比较了什么,控制了什么,指标回答了什么,哪些结论还需要下一层证据。

3.1 Scaling Law 的证据:从趋势走向可预测的规律

Scaling Law 是在明确训练与评测条件下,规模与损失或性能之间可拟合、可预测的经验关系。“更大的一次实验更好”不足以建立规律;一条有规律的曲线也不自动适用于新分布。

【研究】语言模型的相关研究分别讨论参数、数据、计算与损失,以及固定计算预算下的配置关系。它们也是受实验范围约束的经验结果。Kaplan 等、Hoffmann 等

Dyna-2 的关键证据卡

【研究:企业自报告】官方报告使用1千、1万、10万、100万小时的嵌套数据集,区分人类离线预测、未参与预训练的机器人离线预测,以及机器人数据后训练后的实机评测。后者覆盖14项任务、3类本体,平均归一化分数约为20%、28%、45%、53%;各任务通常10次试验,语言任务12次。报告把模型规模与计算扩展留待后续研究。实验与指标定义

先读懂指标:上述平均分合并了不同任务各自归一化的指标,不是“机器人任意任务成功率53%”,更不是无人值守商业可用率。离线预测可以用预先记录的轨迹评估;实机闭环则会改变后续输入,两者回答的问题不同。

从现有结果能判断什么

【判断】这比“百万小时听起来很大”强得多:已有规模阶梯、受控比较和后训练实机证据,可以称为在所报告条件下观察到的数据 Scaling 规律。但不足以宣称跨所有任务、本体和规模的通用机器人定律已经成立。它也不是完整的参数—数据—计算联合定律。

已经做过的消融:收益只是因为动作标签更多吗?

【研究:企业自报告】Dyna-2 不只报告四个数据规模点。它还在相同架构与匹配训练步数下比较三种设置:只学动作;在同一数据上共同预测动作和视频;再加入没有动作标签、只用于视频预测的数据。随后又固定动作标注数据量,单独扩大 video-only 数据,检验留出机器人数据上的离线迁移。Dyna-2,第3.4—3.5节

对照改变什么它具体想区分什么读结果时应保留什么条件
动作目标 → 动作与视频联合目标世界预测是否提供额外学习信号相同架构不代表所有训练成本完全相同
联合目标 → 加入额外 video-only 数据没有动作标签的经验是否还能被利用新增数据规模与分布也随之变化
固定动作数据,只扩大 video-only 数据改善是否必须依赖更多动作标签此项主要测留出机器人记录,不能直接写成同等真机收益

报告观察到,视频联合学习改善了所测跨本体预测,额外 video-only 数据在较大规模下进一步带来收益;较小规模并非总占优,人类数据自身的预测指标也没有同步改善。这提示学习收益可能表现为迁移,而不是源身体上的每个指标都变好。

【判断】因此,不能一边引用这份报告,一边把“固定动作数据再增加视频”全部写成尚未开展的设想。已经有相应证据;下一步需要的是独立复验、更严格的计算预算比较,以及把这组消融本身接到实机质量与成本,而不是混用另一组后训练实机结果。

下面是本文的证据审查,而非额外实验结论:

  • 固定测试集的价值:使不同规模点可比较;但仍要检查来源、场景与操作者是否泄漏。
  • 嵌套数据的价值:减少换数据造成的混淆;但小时增加还可能伴随多样性变化,需说明究竟是什么在起作用。
  • 实机试验的价值:跨过离线误差这一层;但少量重复试验不够精确估计罕见事故或长期稳定性。
  • 平均分的价值:便于看总体趋势;但可能掩盖某些任务停滞,不能替代逐任务分布。
  • 后训练的价值:验证预训练能否留下可利用的知识;同时说明上机效果不等于零机器人数据控制。

怎样加强这项结论

一个更完整的实验应同时说明:数据去重和训练测试隔离;固定训练步数还是固定 FLOPs;多个随机种子;模型与数据的二维或三维扩展;未见身体与未见场景;相同后训练预算;统一的闭环成功、质量、干预和耗时口径。最后还需要新规模点上的外推检验与独立复现。

【教学模型】常用的简化形式是:

E(D)=E∞+kD−α,α>0E(D)=E_\infty+kD^{-\alpha},\quad \alpha>0

人话解释:更多有效数据 DD 可能降低误差,但改善幅度会递减,并可能接近误差下限。这里没有使用 Dyna 的拟合参数,不能拿它预测商业收入或承诺下一次扩展的收益。

机器人比语言建模更难测量 Scaling,还因为身体、动作空间、环境和物理反馈都可能改变;数据小时不是统一 token,真机评估昂贵,失败还会改变之后遇到的状态。

四层证据不能互相替代

证据层能回答什么还没有回答什么
留出人类数据的离线预测学到的规律是否超出训练样本记忆是否适用于机器人身体
未见机器人记录的离线预测表征或预测是否发生跨域迁移机器人执行偏离后能否继续正确行动
固定适配预算后的实机闭环预训练知识能否转化为任务能力多班次运行、长尾失败与现场成本
客户现场的持续交付系统在规定场景中的实际服务能力是否可低成本复制到其他现场

【推导】一个特别重要的反事实是:如果不扩大人类数据,而把同样的预算用于机器人适配,会怎样?这不是否认预训练,而是为了判断收益来自可迁移基础能力,还是来自某种预算分配。研究结论与采购决策关心的比较对象可能不同。

自测 16|53% 到底表示什么?

回答:它是 Dyna-2 报告中多个任务按各自指标归一化后得到的平均分,不是任意任务成功率。

为什么:不同任务可以有不同评分规则。先归一化再取平均,适合比较整体趋势,却不能理解为一百次客户工作会成功五十三次。

判断边界:还需查看逐任务结果、重复试验与不确定性。平均上升可以与某个关键任务没有改善同时发生。

自测 17|数据 Scaling 能否直接证明模型与算力 Scaling?

回答:不能,三个扩展轴需要分别说明并做受控比较。

为什么:增加数据、增加参数与延长训练都会改变结果。若一起变化,就难区分各自作用,也难预测换一种预算配置时会怎样。

判断边界:Dyna 报告的数据规模结果应在其范围内评价;不能据此填入未报告的参数或计算定律,更不能直接预测收入。

3.2 怎样设计能区分原因的实验?

以下均为拟议实验,没有在本文中执行。好的质疑应指出可观测的分歧,而不只是说“我不相信”。

其中若干问题已有上节所述的企业实验,下面列的是复验、扩展或更严格控制的方向,不是断言这些问题从未被研究。

质疑可以区分解释的实验
1. 提升来自新增信息,还是重复数据?固定总小时数,比较去重程度、任务覆盖与重复采样;严格隔离测试来源
2. 人类动作监督是否带来主要收益?同数据与预算下,比较 video-only、伪动作、两者结合,报告追踪质量
3. 视频预测改善了控制,还是只是增加训练量?匹配算力与参数,比较不同辅助目标,同时测闭环任务
4. 模型是否只认熟悉背景?按地点、操作者、物体和相机分组留出,避免相邻片段泄漏
5. 跨本体收益是否依赖相似双臂结构?在明显不同的运动链上测试,固定或分档报告适配预算
6. 视觉缺失的力学变量怎样处理?控制外观相似,改变重量、摩擦或阻力,比较传感器与主动试探策略
7. 离线误差下降是否能预测实机收益?对同一批检查点同时测离线指标与盲测闭环表现,观察相关和例外
8. 恢复是真正稳健,还是反复重试?限定最大时长和重试次数,计入损伤、失败和最终产能
9. 扩展到新客户是否仍需大量工程劳动?冻结基础版本,在不同现场记录部署天数、人工小时与适配数据
10. 曲线能否外推到更大规模?先锁定拟合和预测,再测试新规模点;报告偏差、成本与性能下限

质疑的作用是找到下一项能改变判断的证据。一个范围窄、条件明确的结果,也可以为下一轮研究提供可靠起点。

一个完整的研究推理示范

【拟议实验,未执行】假设我们想验证“世界预测目标提高了控制质量”。先固定任务、验收规则和数据划分;设置只训练动作与同时训练动作/世界目标的对照;使参数和计算尽可能可比,并明确无法完全匹配的部分;最后用相同适配预算,在预先留出的场景里测试质量、耗时与恢复。

结果应怎样读?如果视频误差下降而控制不变,只支持预测目标更有效;如果熟悉环境改善、留出环境不变,不能宣称泛化增强;如果质量改善但延迟增加,需要进入产能比较。结果有条件,不妨碍它有价值,但应按实际证据命名。

再加入一个不相关辅助目标的对照,是为了区分“学到了有用的世界信息”和“只是多了一种训练约束”。这仍不能独自揭示模型内部的全部机制,却能排除一部分竞争解释。研究设计的进步,常常来自让几种原本都说得通的解释产生不同预测。

3.3 可靠性:为什么高单步分数仍不足以交付长流程?

【采访】关于“99.4% 与 75%”,Jason 的解释是:前者按完成折叠计算;后者是在折好的餐巾中,达到客户接受等级的比例。两者口径不同,不能简单写成同一个成功率从实验室跌到现场。他还提到堆叠误差、速度与恢复问题。访谈整理:部署章节

把验收拆成四层

层次问题一次折叠的例子
动作完成流程是否结束?抓取、折叠、放下均执行了
产品合格结果是否满足规格?边缘、尺寸、朝向达到验收条件
流程可用能否持续衔接上下游?不堵塞、不频繁复位、节拍匹配
业务有效是否降低整体劳动与成本?无需另派一人长期看守与返工

【推导】应记录完成率、完成后合格率以及“全部投入件中的最终合格率”。只有这些指标来自同一批次、同一分母定义,才能用完成率乘以条件合格率得到总体合格率。不能把不同现场与不同实验的数值拼成新“实测结果”。

为什么长流程会放大错误

设 SiS_i 表示第 ii 步成功:

P(S1,…,SN)=∏i=1NP(Si∣S1,…,Si−1)≈pNP(S_1,\ldots,S_N) =\prod_{i=1}^{N}P(S_i\mid S_1,\ldots,S_{i-1}) \approx p^N

人话解释:整条链成功,需要每一步都在前面已成功的条件下继续成功。只有把条件成功率简化为同一个 pp,才能写成 pNp^N;不能随意把测得的单步平均值当作它。

【教学算例】假设100步、无恢复、每步条件成功率相同,则95%、99%、99.5%分别对应约0.59%、36.6%、60.6%的全程成功率。这不是 Dyna 实测,也不是所有工业任务的统一准入门槛。

现实中还存在错误相关性:一条毛巾放歪会改变下一步输入;相机被遮挡可能连续影响多步。恢复机制能把部分失败转成重试,但会消耗时间。可靠性需要与恢复后的净产能一起衡量。

定位准确度(Accuracy)关注结果离目标有多远;精密度(Precision)关注结果的离散程度;重复性(Repeatability)关注相同条件下多次结果是否一致;分布偏移(Distribution Shift)指部署时的输入和训练条件发生变化。一个系统可以每次稳定地放错位置,也可以平均位置正确但波动很大,两者都可能不合格。

恢复把“一次失败”变成了什么?

【推导】没有恢复时,抓空可以直接终止任务;有恢复时,系统可能发现异常、重新定位、再次抓取、检查结果,然后继续。但这些步骤本身也会失败,还会消耗时间。于是评价对象从“一次动作成功率”变成“在允许时间和资源内完成合格工作”的概率与成本。

判断恢复能力至少要问:错误是否被发现,恢复起点是否正确,重试是否有上限,何时转人工,恢复后质量是否重新验收。把无限重试后偶然成功算作一次成功,会掩盖系统对人的负担。

自测 18|单步成功率很高,为什么整条工作流仍可能脆弱?

回答:多个步骤都必须在先前状态合适的条件下继续成功,局部误差还可能改变后续输入。

为什么:p 的 N 次方只是条件成功率相同且不考虑恢复时的简化。现实中一条毛巾放歪会让下一次抓取更难,失败可能相互关联。

判断边界:需要测完整流程和恢复后的结果,不能用一个离线单步平均数替代流程可靠性。

3.4 Physical Agent:谁负责计划、执行与确认事实?

Physical Agent 可以理解为在物理环境中围绕目标持续观察、行动、检查和纠错的系统。它不是一个已经统一标准化的模型类别,也不能只凭“有机器人身体”来认定。

【研究:企业自报告】Taku 是轮式半人形平台。Dyna-2.1 把工作流交给 VLM 编排器,把操作交给动作策略,把执行交给 RL 全身控制器,并报告了连续洗衣流程演示。该报告还把到真实客户现场验证新系统列为下一阶段,不能将这一演示直接写成完整洗衣房已规模商用。系统报告

一套工作比一个动作多了什么

以下是教学用工作流分解,不是对演示已覆盖全部业务环节的认证。

工作内容主要问题验收点
接收与分类Business Process:订单、材质、归属不混单,处理规则明确
搬运、开门、取放Manipulation:移动与接触不掉落、不损坏、放置正确
安排洗烘与折叠Planning:设备完成时间与任务优先级减少设备空闲,允许插入新任务
感知设备状态System Engineering:识别、接口和状态同步不把“按过按钮”当成“已经启动”
折叠、分拣、上架操作与质量共同约束合格、整齐、数量和去向正确
异常与订单关闭Recovery / Business Process重试有界,异常可追踪,交付可确认

【推导】一个合理闭环是:感知现场 → 理解目标 → 安排下一步 → 执行 → 检查结果 → 恢复或改计划 → 更新记忆。 这里的记忆应记录实际事件,而不能只保存模型计划;“准备启动洗衣机”与“确认启动成功”必须分开。

会叠衣服不等于会管理洗衣房,因为后者还要处理并行设备、任务切换、衣物归属、质量验收以及失败后的责任边界。传统自动化也能有反馈、调度与恢复;学习型 Physical Agent 的潜在优势是适应变化,代价是行为和可靠性更难完整验证。

用“洗衣机没有真正启动”检查整个系统

【教学情境】机器人按下启动按钮,界面没有变化。此时有三种不同的失败:操作动作没有按到位;视觉或接口没有正确识别机器状态;编排系统在未确认的情况下提前安排了取衣。它们的表面表现可能都是“流程没有继续”,修复位置却不同。

合理的思路是先保存“已尝试按启动”,再根据可靠观测记录“已确认运行”。如果无法确认,应重新观察、在允许条件下重试,或转人工,而不是把计划当成已经发生的事实。记忆的价值在于保留经确认的状态和未解决的不确定性。

这种分解也帮助定位升级收益:更好的操作策略可能减少按键失败,更好的状态识别减少误判,更好的编排避免错误传播。整套系统改善不应全部归功于某一个模型名称。

自测 19|“会叠衣服”到“会管理洗衣流程”增加了什么?

回答:增加了任务依赖、资源安排、状态确认、记忆、质量验收和异常交接。

为什么:叠好一件衣服只完成局部技能;流程还要知道该处理哪一批、机器何时空闲、上一步是否真正成功、结果送到哪里。局部技能不知道这些,不等于它本身失败。

判断边界:连续演示说明某些环节可以组合,但是否低干预地运行多班次、是否覆盖业务异常,需要另取证据。

3.5 路线对比:比较接口与责任,不做跨榜单排名

比较对象是下列公开版本与技术重心,不是对公司的永久标签,更不是性能排行榜。

路线模型与数据重点本体与交付重点判断时应索取的证据
Dyna-2 / 2.1WAM、人类操作经验与真机适配从操作技能扩展到具体商业流程规模实验、现场质量、恢复与系统成本
PI π₀ / π*₀.₆VLM 加连续动作;后续结合自主经验与纠正跨机器人策略及任务适配新任务、新环境的闭环泛化和后训练效率
Skild Brain层级策略,仿真、视频与真机经验强调多身体的通用机器人“大脑”身体变化范围、适配成本及控制稳定性
Figure Helix / Helix 2.5分层理解与动作;后者使用人类行为预训练自有人形平台与全身任务家庭/物体隔离、任务适配与持续运行表现

PI 的 π*₀.₆ 已引入自主经验和纠正,不能归为“只模仿”;Figure 的 Helix 2.5 已使用 Index 人类行为数据,不能说“只有 Dyna 用人类数据”。Skild 的广泛本体适应目标,也不能等同于任意身体均已验证。PI、Skild、Figure

【判断】Dyna 与 PI 的可比差异首先在预训练基础和学习信号重点;与 Figure 的差异更适合放在身体和目标流程;与 Skild 的差异可放在公开实验证据与本体覆盖策略。不能从不同任务上的演示推导谁的“大脑更强”。

世界模型、VLA、RL、模仿学习与分层控制不是五个互斥阵营。更好的对比方式是问:共享什么知识、还需多少适配、谁承担系统交付,以及怎样计量失败。

【推导】一个可用的比较顺序是:先统一目标任务,再列输入数据与身体条件,接着比较适配量,最后看谁负责现场集成与异常处理。如果这些前提不同,就应把差异写出来,而不是把公司各自最好的演示排成一张能力榜。

例如,“支持更多身体”与“把一个流程交付得更完整”是两种可能都很有价值的能力。前者需要覆盖和适配成本证据,后者需要质量、干预和复制成本证据。选哪条路线,取决于你要解决的问题,不取决于口号是否更通用。

3.6 商业化:从成功率算到客户得到的产出

【推导】商用洗衣场景有吸引力,是因为工作重复、产出可验收、设备和布局有一定规律;但它依然包含柔性物体、混杂衣物、耗材、湿度与设备异常。家庭则往往增加布局变化、任务种类和人与机器的交互不确定性。两者不能简单归为“容易”和“困难”。

评价一个任务,至少同时考虑频次、重复性、环境结构、劳动成本与招工难度、错误代价、人工干预、利用率、维护和训练成本。

可以用两项教学指标避免只谈“成功率”:

有效产能=最终验收合格件数包含恢复和停机的总时间\text{有效产能}=\frac{\text{最终验收合格件数}}{\text{包含恢复和停机的总时间}}

人话解释:能卖给客户的产出才算数,机器人暂停、返工与等待都消耗时间。

单位合格产出成本=设备、部署、运行、维护及人工接管总成本最终验收合格件数\text{单位合格产出成本}=\frac{\text{设备、部署、运行、维护及人工接管总成本}}{\text{最终验收合格件数}}

人话解释:一台价格低但经常需要工程师驻场的机器,未必便宜。这是评估框架,不是 Dyna 已披露的成本数据。

“无聊”的重复任务可能带来稳定利用率和清晰验收,但仍要看整个流程。若机器只是把劳动从操作员转移给返工员,成本未必下降;若它能在空闲时段稳定工作,速度稍慢也可能有价值。关键是客户实际减少了什么负担。

公司报告里的实际门槛:速度与质量要同时过关

【研究:企业自报告】Dyna 的生产报告把餐厅要求写成每个18小时班次提供1,500条可上桌餐巾。报告列出的 Dyna-1 约为每小时折35条、75%达标、每日约480条合格品;Dyna-2 约为每小时95条、93%达标、每日约1,590条合格品。生产报告

【推导】这里的关键不是把每项指标分别提高,而是让速度与质量共同跨过需求门槛。按 Dyna-2 的公布口径,95 × 18 × 93% 约为1,590;前面的99.4%是另一种完成率口径,不能再机械乘进去。Dyna-1 的粗略速度与产量也按原报告保留,不用四舍五入后的数字重建逐件记录。这些是公司的生产披露,不是独立审计,也不能据此推算整个洗衣工作流的产能或通用投资回报。

算一遍:成功率更高的机器,一定产出更多吗?

【教学算例,非公司数据】假设 A 每次尝试30秒,80%产出合格;B 每次尝试40秒,95%合格。不合格尝试都额外消耗20秒处理,随后开始一个新的独立尝试;暂不考虑其他停机、上料与严重故障。

假设系统每次尝试平均占用时间每次尝试平均合格产出长期平均合格产能
A30 + 20% × 20 = 34秒0.80件3600 × 0.80 ÷ 34 ≈ 84.7件/小时
B40 + 5% × 20 = 41秒0.95件3600 × 0.95 ÷ 41 ≈ 83.4件/小时

推理过程:先把失败处理时间计入每次尝试的平均耗时,再用每次的期望合格产出除以耗时。这里的“平均每次产出”是大量重复尝试的统计量,不表示一件衣服可以产出零点几件。A 的质量比例更低,在这一组假设下合格产能却略高。

如果把每次失败处理改为120秒,A 约为53.3件/小时,B 约为74.3件/小时,排序就变了。它说明决策对失败代价敏感,并不证明应该选 A 或 B;人工工时、物料损失、损坏风险和客户最低质量要求还未计入。

自测 20|客户选型时,为什么不能只比较成功率?

回答:因为客户需要在质量约束下获得持续合格产出,并承担整个流程的时间与成本。

为什么:成功率更高却更慢的系统,不一定产出更多;更快但频繁接管的系统,也可能把负担转给人工。上面的算例显示,失败处理时间变化就可能改变排序。

判断边界:应使用现场实测数据,并同时检查质量底线、接管工时和单位成本。教学算例不能作为某家公司的效率估计。

下面把这些问题转成三类读者各自可以采取的下一步。

研究者:找到能区分机制的实验

【研究建议】优先选择能区分机制的实验,而不是只堆更大训练量。

第一,世界预测究竟提供了什么。 固定数据、参数和计算预算,比较动作目标、视频辅助目标与不相关辅助目标;同时记录离线误差、闭环质量与延迟。若只有视频指标改善,控制价值尚未被证明。

第二,人类数据怎样减少真机样本需求。 为每个预训练规模绘制“机器人适配数据量—实机能力”曲线。重点看达到同一质量所需的数据,而不是只报告各自最好结果。

第三,视觉歧义如何被消解。 用外观相同但重量或阻力不同的物体,比较纯视觉、加入传感器和主动试探;观察成功率、损伤率与不确定性处理。

第四,恢复能否泛化。 预先定义不同失败类型,留出部分错误组合,限制时长和重试次数。验证学到的是通用恢复能力,还是针对固定故障的动作模板。

所有实验先固定成功标准、数据划分和失败计数,再训练。否则容易把协议调整造成的提升误认为算法进步。

创业者:先确定可交付的工作单元

【实践建议】先定义一个可交付的工作单元:输入是什么,最终谁验收,怎样算完成,什么异常由机器人处理,什么情况由人接管。再决定模型和身体。

选择首个场景时,同时追求三件事:客户确实愿意付费、失败能够被发现和控制、经验可以改善下一次部署。任务频繁却需要长期驻场维护,可能暂时有收入却难复制;技术上丰富却没有采购方,也难形成商业反馈。

可以把试点按四道门推进:验收单件质量;验证连续运行与恢复;减少工程师在场时间;最后检验新现场复制成本。每道门都应有失败退出条件,不能把无限期试验称为落地。

数据反馈只有经过记录、质检、训练、回归验收和再次部署,才成为有效改进。不能把“机器人每天都在工作”直接等同于“每天都在变聪明”。

行业分析者:检查价值是否能够复制

下面从技术与经营角度检查交付质量和复制成本。

维度应要求的指标或记录容易误读的替代数字
客户价值合格产出、实际减少的人工工时、续约与扩点演示观看量、合作意向数量
可靠性连续运行分布、接管频率及用时、失败严重性一次最长无故障演示
单位经济含维护、部署和接管的单位合格产出成本只比较设备售价与工资
可复制性新现场适配工时、数据需求、硬件改造成本第一家客户终于成功
学习效率同等能力所需真机数据、迭代周期、回归率总数据小时数或参数量
可持续优势经验能否跨客户复用,是否形成稳定交付能力单一模型名称或未经检验的通用性

【判断】数据规模可能形成优势,但还要看数据是否独特、可用、与目标任务相关,以及公司能否把它变成客户可感知的改善。高切换成本也可能来自沉重集成,而不全是产品优势。

3.7 Claim–Evidence:把主张放回它真正支持的范围

这张表把“来源提供了什么”与“我们可以判断什么”分开。企业报告是研究证据的一部分,但不等于独立复现;对某个强主张的反驳,也不应被误读成对整条路线的否定。

主张现有证据可以支持的判断还不能支持什么怎样进一步验证
完成率不等于客户合格率Jason 的采访与3.3节的指标拆解必须区分事件、分母与验收规则所有现场都会出现相同比例差距获取同批次逐件记录和验收规则
人类经验规模改善迁移Dyna-2 的受控规模阶梯与后训练实机评测所报告条件下出现数据 Scaling 规律对任意任务和身体都成立留出分布、新规模点、独立重复
世界预测能帮助控制特定架构和预算下的报告与对照可以在具体设置中检验辅助目标收益必然改善所有控制任务匹配预算,比较闭环质量与消融
训练世界预测必须在线想象Dyna-2 Scaling 变体的训练/执行区分这个“必须”不成立所有 WAM 都不需要在线预测分别检查每个版本的执行路径
人类视频可以替代全部机器人数据现有迁移结果仍涉及适配与身体条件视频可提供预训练知识目标身体经验已普遍不再需要比较达到同等质量所需的真机数据
完整工作流带来更大客户价值流程分解与成本分析,属于本文推导当实际减少监督与交接时,价值可能增加集成越多收益就必然越高测人工工时、净产能和总成本
Taku 已普遍无人值守商用连续流程演示与官方下一阶段计划演示说明部分流程已经可以组合长期、多现场的交付可靠性客户现场的运行、接管与异常记录
全栈必然优于模型供应商尚无统一任务与成本口径的对照两者有不同的集成责任与收益条件存在不依赖场景的必胜路线比较适配、维护、复制与组织成本

对应来源集中在 访谈整理、Dyna-2 与 Dyna-2.1。表中反例是本文分析,不是声称已经观察到该公司的失败。

3.8 十道进阶推理:练习解释,而不只给结论

以下均为假设情境。建议先写三句话:我的初步判断是什么,原因是什么,什么新证据会让我改变判断。再展开解释。答案展示推理路径,不把复杂决策伪装成唯一选项。

推理 1|离线动作误差更低,现场却更容易把毛巾堆歪,先检查什么?

先给判断:先检查评价与执行链路,不直接断言模型架构更差。

推理过程:第一步看离线指标是否惩罚了最终堆叠偏差;第二步确认观察、动作时间和坐标对齐;第三步检查控制跟踪与误差累积;最后比较现场对象、视角和恢复状态是否偏离训练分布。这样按“目标—接口—执行—分布”排查,可以避免用更大模型掩盖数据或系统错误。

还需要什么证据:需要同一任务、硬件和验收协议下的轨迹、最终质量及失败分类。如果控制跟踪本来就偏离策略目标,应先修控制;若跟踪准确但目标错误,再检查策略。

推理 2|模型和算力固定,数据翻倍没有提升,能否否定 Scaling?

先给判断:只能说这次扩展没有在这个设置下带来可测收益。

推理过程:固定算力时加入更多数据,可能降低每段数据被学习的程度;新增内容也可能重复、质量较差或与测试无关。此外模型容量、指标饱和和测量噪声都可能遮住收益。需要逐一排除,才能判断是否触及了这条规律的适用边界。

还需要什么证据:至少需要数据质量与覆盖审查、训练进度、重复评估,以及不同计算预算的对照。不能因一个点无提升否定所有规模规律,也不能把任何失败都解释为“规模还不够”。

推理 3|视频看不出门是锁住还是太重,模型该怎样行动?

先给判断:保留多个可能解释,选择能增加信息且代价可接受的行动。

推理过程:先承认当前观察不足,再检查是否有状态接口、力觉或其他视角;若允许轻微试探,观察施力后的位移与反馈。如果信息仍不足或代价过高,应停止尝试并请求帮助。此处目标不只是尽快开门,也包括避免因错误状态假设损坏设备。

还需要什么证据:需要试探范围、设备约束、传感器可靠性以及不同隐藏状态下的表现。会生成合理解释不等于已经区分了真实状态。

推理 4|换机器人只重训控制器,是否已经证明零适配迁移?

先给判断:可能证明了任务策略能够复用,但不能称整套系统零适配。

推理过程:控制器重训本身就是适配。应把共享策略、身体表示、校准和控制器分开记录,再测试新身体是否保持质量。若底层增加大量工程工作才达到原效果,策略共享依然有价值,但它的经济收益需要重新计算。

还需要什么证据:需要控制器训练数据、校准工时、策略是否冻结,以及新身体上的可达性、接触质量和持续运行结果。

推理 5|两台机器单步表现相同,能恢复的一台一定更值得选吗?

先给判断:不一定,恢复只有转化为更好的最终结果才有价值。

推理过程:先比较哪些失败被发现,再看恢复耗时、重试次数与最终质量。如果恢复经常误触发,或一次重试损坏物体,它可能减少人工接管却增加总成本。评价应包含恢复成功和恢复失败的全部尝试。

还需要什么证据:需要限定时间内的合格产能、人工介入时间、损伤与严重故障记录。“恢复成功率”如果只统计已经完成的恢复,会产生选择偏差。

推理 6|展示100小时无故障运行,能否承诺每年只停机一次?

先给判断:不能从一次短于承诺周期的观察推导如此精确的长期保证。

推理过程:无故障记录说明这段观察里没有检测到所定义的故障,不说明真实故障概率为零。长期还可能出现磨损、维护、人员变化与不同负载。应先定义什么算停机,再看有多少台设备、多少运行时间及条件覆盖。

还需要什么证据:需要多设备、多时段运行记录和统计不确定性,尤其包括被提前终止的试验。即使平均故障间隔较长,也不能保证每台设备在每个年度只故障固定次数。

推理 7|百万小时重复折毛巾,与十万小时多任务数据,怎样公平比较?

先给判断:先明确想比较“数量”还是“覆盖”,不要把两个因素混成一个。

推理过程:可以先固定小时数,比较重复程度和任务覆盖;再固定覆盖规则,改变数量;各组匹配或分档报告计算预算。测试要同时包含熟悉任务和留出任务,因为广覆盖数据可能提升迁移,却未必在某个重复任务上达到最高精度。

还需要什么证据:需要去重方法、采样比例、追踪质量、任务分布和分项结果。只给一个平均分,无法判断哪些能力受益或退步。

推理 8|用新机器人数据适配后称为 zero-shot,哪些说法仍可能成立?

先给判断:可能对新场景或新物体成立,但不能省略 zero-shot 的对象。

推理过程:把训练过程画成阶段:基础预训练、机器人适配、任务适配、现场调整。某个家庭没有用于现场训练,不表示同一任务或身体从未见过;离线机器人记录未用于预训练,也不表示后续实机策略没有接触机器人数据。

还需要什么证据:需要按场景、任务、物体和本体分别列出训练与测试交集。准确描述边界比争论一个标签更有用。

推理 9|世界预测改善质量,却让推理变慢一倍,值得部署吗?

先给判断:要看质量收益是否覆盖完整流程的时间与成本,而不是只比较一次推理延迟。

推理过程:先确认在线世界预测是否是质量收益所必需;如果收益来自训练表征,可能不需要在线生成。若确需在线预测,再测它是否增加控制延迟、等待或失败,同时看更高质量是否减少返工。最终比较合格产能和干预成本。

还需要什么证据:需要相同现场条件下的端到端时延、质量与恢复记录,以及仅训练时使用辅助目标的对照。不能因为推理慢一倍,就直接认定整条流程慢一倍。

推理 10|只做模型的公司,什么条件下可能优于全栈公司?

先给判断:当接口和交付分工成熟,模型能以较低适配成本跨客户复用时,专业化可能更有优势。

推理过程:模型供应商可以把资源集中在学习与复用,由伙伴承担设备和运营;全栈公司更容易联动优化,却需要承担更多研发与现场责任。关键变量是接口是否稳定、故障归属是否清晰,以及谁能收集可用于改进的数据。

还需要什么证据:需要实际集成工时、客户复制成本、维护责任与迭代效率。两条路线都可能在不同阶段有效,不能仅凭垂直整合或通用大脑的名称判断胜负。

3.9 术语速查:遇到概念时回来看

下列词条同时给出中文、技术含义、在本文中的作用及与相邻概念的区别。具体项目的事实依据见第二部分的机制解释与第三部分的实验分析。

English / 中文一句话与技术解释在本文中的作用、与相邻概念的区别
RL / 强化学习通过环境交互或已有交互经验优化累计回报可以改善操作或控制;不是所有机器人训练都属于 RL
Reward Function / 奖励函数把状态、动作或结果映射为学习用分数决定优化方向;不等于自动客观的业务价值
Reward Shaping / 奖励塑形为最终目标增加中间学习信号帮助探索;设计不当可能改变最优行为
Representation Learning / 表征学习学习保留任务相关信息的编码连接视频与动作知识;不是直接学习控制命令的同义词
VIP / 价值隐式预训练从视频学习价值相关视觉表征可构造视觉奖励;区别于直接生成动作的策略
Eureka / 奖励程序生成研究LLM 生成奖励代码,借训练反馈迭代减少手写奖励;不是 LLM 在线驱动所有电机
GVL / 生成式价值学习VLM 在上下文中估计任务完成进度可辅助评价和数据选择;不同于奖励代码生成
VLM / 视觉语言模型联合理解视觉输入与语言可提供语义与任务判断;单凭名称不保证输出动作
VLA / 视觉语言动作模型从视觉和语言等条件生成动作一种策略建模方式;不限定必须纯模仿或无历史
WAM / 世界动作模型连接世界变化建模与动作学习关注预测监督与控制的结合;不必在线展开未来视频
World Model / 世界模型学习环境或状态怎样变化支持预测、表征或规划;不必显式恢复全部物理量
Policy / 策略将观察、目标等映射为动作分布或动作负责选择行动;区别于描述环境变化的模型
Trajectory / 轨迹按时间排列的状态、观察、动作等记录是学习与评估单元;不只是末端运动曲线
Action Space / 动作空间系统允许输出的动作集合与参数化定义动作接口;不同身体的同维向量也未必同义
Action Chunk / 动作块一次生成的多步动作序列平衡平滑性、效率与反馈;不等于长期任务规划
Embodiment / 本体身体形态、传感器、执行能力及其限制决定经验如何落地;不只指机器人外观
Cross-Embodiment / 跨本体迁移不同身体之间复用学习成果需说明共享与适配范围;不是关节命令直接复制
Egocentric Video / 第一视角视频从行动者附近视点记录活动提供手物交互;不自带目标机器人的控制标签
Imitation Learning / 模仿学习利用专家行为学习策略降低探索需求;不能假定示范覆盖所有失败状态
Behavior Cloning / 行为克隆以观察—动作配对做监督学习是模仿学习的一类;与所有 imitation 方法不等同
Scaling Law / 规模规律指定实验下规模与指标的经验关系用于预测扩展收益;不是任意增加数据都会成功
Generalization / 泛化在明确未见条件下保持能力必须说清未见的是任务、对象、场景还是身体
Distribution Shift / 分布偏移训练和部署数据生成条件改变会引发闭环失误;不同于相同分布内的随机噪声
Deployment / 部署把系统放入实际流程并持续运行包含设备、验收、运营与维护;不是一次演示
Inference / 推理执行使用已训练模型计算输出不必更新权重;也不等同于语言式逻辑推理
Physical Agent / 物理智能体在物理环境围绕目标持续感知、行动和纠错强调完整闭环;不是单一基础模型名称
Proprioception / 本体感觉关节、速度等自身状态信息帮助执行与估计状态;不同于外部摄像头观察
Retargeting / 动作重定向将源身体的动作或约束转换到目标身体处理形态差异;不保证力学和接触也被准确迁移
URR / 统一机器人表示Dyna-2.1 的任务空间身体动作接口减少表示差异;仍需要具体身体的控制器
Sim2Real / 仿真到现实迁移将模拟中学到的能力用于真实设备要处理模型误差;仿真成功不自动证明真机可靠
Recovery / 失败恢复检测偏离后重新达到可继续执行的状态应计入时间和代价;不是无限重试直到成功
Uptime / 可用时间比例约定运行时间中系统可服务的比例衡量系统可用性;不同于单任务完成率

3.10 继续学习:用一个问题带着读一份材料

不必先读完所有材料。每次带着一个问题阅读,并记下输入、输出、训练信号、测试条件和没有证明的事情。

顺序与材料阅读目标
原视频与署名访谈整理区分研究结果、个人判断与商业路线主张
VIP理解无动作标签视频如何提供价值相关表征
Eureka拆清奖励生成、训练反馈与动作策略的职责
DrEureka理解奖励设计之外,训练环境与域随机化怎样影响真实迁移
GVL理解进度估计的用途与评价假设
OpenVLA与π₀对照动作表示、模型基础和适配方式
V-JEPA 2区分潜在预测、动作条件动态与规划
Open X-Embodiment / RT-X学习跨机器人数据共享与迁移的实验设计
Dyna-2逐图检查规模阶梯、指标、消融和实机协议
Dyna 训练基础设施理解多模态读取、实验吞吐与可复现性
Dyna-2.1 / Taku分清身体、控制、操作与编排,以及演示边界
PI π*₀.₆看自主经验和纠正如何补充示范
Skild 技术说明与Figure Helix 2.5对比本体适应与新环境评估,避免跨榜单排名
语言模型 Scaling Laws与计算最优训练理解拟合范围、数据与计算预算及外推边界

最后可以用三句话检查自己的学习成果:视频层面,讲清 Dyna 为什么把人类经验与真实部署放在一起;机制层面,解释这些经验怎样通过学习目标、表征、策略和身体转化为动作;证据层面,指出哪些结果已有支持,哪些仍要通过闭环实验和现场记录验证。能把三句话展开,并说明会让自己改变判断的证据,就比记住一组模型名称更接近掌握这条技术路线。