机器人开源了什么：从“免费大脑”到真实能力

假设你下载了一个机器人模型，接上摄像头和机械臂，对它说：“把桌上的杯子分类放进托盘。”接下来会发生什么？它可能认出了杯子，却不知道你的机械臂怎样移动；也可能在演示中成功，换一个杯子就失败。真正值得学习的问题是：开源让哪些能力可以复用，又把哪些工作留给了使用者？

本文围绕硅谷101的《Physical Intelligence与机器人开源革命：“免费大脑”背后的四派力量与博弈》展开。视频主线依据硅谷101署名文字稿梳理，技术细节对照原始论文与官方项目。先看各方为什么开放、开放什么，再解释模型怎样产生动作，最后讨论证据与交付。

视频对应2026年3月的讨论。下文涉及模型性能时，明确讨论原始版本；工具接口与开放材料核查至2026年10月28日，不把后来更新的仓库状态倒推成视频发布时的承诺。

阅读入口	从什么问题开始	读完应能做到	建议用时
“免费大脑”改变了谁的起点	开源为什么会成为机器人行业的重要力量？	看懂视频中的参与者与利益关系，分清模型和产品	15–20分钟
模型怎样接上真实世界	图像和语言，怎样变成一只机械臂的动作？	理解 VLA、动作生成、跨本体数据和工具链之间的关系	20–25分钟
怎样判断它是否值得采用	论文成绩、演示和开放承诺，能支持多大的结论？	读懂证据边界，设计验证，判断工程与商业价值	20分钟左右，含练习

全文用“把不同杯子分拣到指定托盘”作为教学任务。它不是任何团队的实测复现，而是把抽象机制放到同一个场景中解释。

证据标记：【视频】指节目及其署名稿的叙述；【研究】指论文、项目或企业公开报告，不默认经过独立复验；【推导】指原理解释和假设算例；【判断】指本文的分析。每个自测都有可展开的解释，先自己回答，再看答案。

一、“免费大脑”改变了谁的起点

1.1 这场变化，首先是研发起点的变化

【视频】节目把学院派、巨头生态、中国力量与 Physical Intelligence 分开讨论，同时把视线从模型扩展到数据、工具和部署。四派是帮助组织叙事的分类，不是互斥的技术门类；同一研究者、机构或项目可以跨越这些边界。节目署名稿

【推导】以前，一个小团队要完成杯子分拣，可能得分别解决采集示范、表示图像、学习动作、适配机械臂等问题。有了可用的预训练模型和工具，它可以从已有能力开始，把更多精力放在自己的杯子、相机和工作流程上。

变化不在于工作全部消失了，而在于一部分研发可以积累、转移和共同改进。如果每个团队都必须重新学会识别物体、接入数据和实现训练循环，成果很难复利；如果这些环节可以复用，后来的团队就能更早触碰自己的真实问题。

但可以复用多少，取决于新任务与原训练条件有多接近。机器人见过桌面拾取，不表示见过透明杯、湿杯壁或叠在一起的杯子；学过一种夹爪，也不表示另一种夹爪具有同样的接触条件。

自测 1｜下载了预训练模型，我究竟节省了什么？

回答：可能节省从零学习视觉、语言与操作规律的成本，也可能复用训练和推理实现。

为什么：模型已经从此前的数据中形成了一些可迁移的表示和行为先验。你不必用自己的一小批杯子示范重新覆盖所有基础规律。

边界：节省的是哪些成本，要通过适配实验判断。若相机、动作接口或任务与预训练差异很大，仍可能需要大量工程和数据；模型文件免费并不能证明项目便宜。

1.2 四派的区别：各自想把哪一层变成公共起点？

【视频】节目里的三位受访者，分别从不同位置观察开放：PI 研究员柯丽一鸣（Kay Ke）讨论策略设计，OpenMind 创始人 Jan Liphardt 关注跨硬件软件层，自变量 CTO 王昊讨论基础模型与真实数据。理解他们所在的层次，才能避免把“模型开放”“软件通用”和“机器人已经通用”混成一个结论。节目署名稿

学院派：OpenVLA 让方法可接续，Octo 让接口可适配

【研究】OpenVLA 的基本连接是：DINOv2 与 SigLIP 提取图像特征，投影到语言模型的输入空间，Llama 2 骨干据此预测动作 token。原始模型为7B，使用97万条机器人轨迹预训练。OpenVLA 项目

【推导】为什么需要不同视觉特征？“找红色杯子”涉及语义匹配，“夹爪应转到哪个方向”涉及空间与局部外观。两种预训练方式提供不同的视觉先验，融合之后再学习它们与动作的关系。但不能机械地说一套编码器只管空间、另一套只管常识，更不能把全部性能差距归因于“两双眼睛”。数据和训练同时在起作用。

Octo 提出的重点稍有不同：如果每换一种相机或动作接口，就要重新设计整个模型，通用策略很难普及。它将灵活接入不同观察、适配不同动作空间作为设计目标。原始版本为27M与93M参数，采用 Transformer 与 diffusion 动作解码；评测包括加入力/力矩输入、改用关节位置动作的微调。Octo 项目与实验

把两者放在一起，学到的不是“小模型一定胜过大模型”，而是两种贡献：OpenVLA 提供可继续研究的 VLA 基线；Octo 展示通用策略怎样容纳设备差异。对学习者而言，能改输入、换动作头、检查微调效果，和一次榜单成绩同样重要。

巨头生态：GR00T 的模型分工，与工具链的分工

【研究】GR00T N1 将视觉语言模块与 diffusion 动作模块连接起来：前者提供场景和指令条件，后者生成动作，两者联合训练。论文用 System 2 / System 1 描述这种分工。GR00T N1 论文

【推导】用收拾桌面来理解，先要分清“该收哪只杯子”，再把条件转成连续运动。语义理解与高频动作生成的计算需求不同，分工有助于组织计算；但这里的“慢思考”不意味着模型必定先输出一篇文字计划，“快思考”也不意味着它脱离视觉语言条件独立行动。

更大的竞争发生在模型周围。仿真环境、训练工具、合成数据、部署计算构成相互衔接的研发流程。对平台来说，开放模型可能降低开发者进入这套流程的门槛；对开发者来说，集成便利与替换成本要一起考虑。这是对生态作用的分析，不等于某个公开模型在许可证上只能使用某家硬件。

【研究】N1 同期的官方方案把 Omniverse、Cosmos Transfer 用于合成数据生成，并宣布与 DeepMind、Disney Research 合作开发 Newton 物理引擎。2025年3月官方公告【推导】可以沿着“真实示范 → 场景与行为扩增 → 生成、筛选训练材料 → 训练策略 → 真机验证”理解这套生态。生成视频只提供链条中的一部分；画面合理，还需检查对应动作与物理条件是否成立。

Google 也在争取通用机器人能力的平台位置，但开放方式不同。2025年3月的 Gemini Robotics 公告区分动作模型与具身推理模型，并介绍合作及受邀测试安排；它不能与开放权重的 GR00T 简单记在同一栏。Gemini Robotics 原始公告

创业公司与中国力量：延迟、跨本体和软件连接是不同问题

这一组最容易被压缩成公司名单，实际应拆开观察：有的团队优化动作生成速度，有的扩大真实机器人数据覆盖，有的研究本体适配，还有的提供跨硬件运行框架。这些贡献可以相互补充，不能用一个“最强机器人大脑”的排名代替。

具体项目	研究重点	为什么值得学习
小米 Xiaomi-Robotics-0（2026年2月）	异步生成并衔接动作块，处理推理延迟	让“动作连续”与“及时响应新观察”同时成为设计目标
蚂蚁 LingBot-VLA（2026年1月）	用约2万小时、9种双臂配置的真实数据预训练	研究共享基础策略怎样支持跨任务、跨平台适配
自变量 WALL-OSS / Wall-X（2025年9月）	连接指令理解、子目标分解与细粒度动作生成	把“理解要做什么”与“身体怎样做”放进同一训练框架

上述三项依据各自原始研究：Xiaomi-Robotics-0、LingBot-VLA、WALL-OSS。它们都不能仅凭预训练规模推出即插即用：例如 LingBot 的该版真实评测包含每任务130条后训练示范；这部分适配投入也是结果的一部分。

【研究】X-VLA 研究如何用可学习的 soft prompts 帮助共享网络处理不同来源与本体；OpenMind OM1 则连接输入、决策与硬件动作接口。前者主要回答策略怎样适配，后者回答运行中的组件怎样协作。X-VLA、OM1

这里要分清项目归属：X-VLA 与自变量的 WALL-OSS 是不同研究，不能因名字接近就混为一项。

【推导】“换一个提示词就换一个任务”成立的前提，是系统已具备相应技能和动作接口。让机器人从巡逻改成引导来访者，与让没有精细操作技能的机械手学会拧瓶盖，所缺的能力不同。这也解释了为什么软件层的通用性不等于控制策略已经跨本体泛化。

PI：把通用知识接到连续动作，再用机器人经验训练

【研究】π₀ 结合预训练 VLM、公开机器人数据和团队采集的多本体数据，使用 flow matching 生成动作块。官方展示包括叠衣、装袋、整理桌面等操作；这些演示体现模型研究的任务范围，不是未经适配就能接管任意现场的承诺。π₀ 原始发布

【推导】叠衣比“把刚性积木移到一个位置”多了一个难点：动作会改变物体自身的形状。抓起衣角之后，下一次看到的布料状态已经不同。模型既要理解目标，又要形成连贯运动，并在执行中重新观察。因此，连续动作表示、示范覆盖和反馈节奏需要共同设计，单靠语言知识不够。

π₀.₅ 进一步研究新家庭环境中的泛化。两代工作的学习关系可以概括为：先把视觉语言知识接到可学习的动作生成，再研究更丰富的数据怎样支持更广的环境与任务。不要将其写成只靠换一个动作头就获得通用能力。π₀.₅ 论文

参与方式	主要贡献在哪一层	对使用者的直接意义	仍需自己完成什么
学院派	可检查、可改造的策略与训练方法	有共同基线，能做适配和比较	目标任务数据与评测
巨头生态	模型与仿真、训练、部署工具的连接	减少部分集成工作	评估平台依赖与实际成本
创业公司与中国力量	特定效率、数据、本体或软件连接问题	获得更多可替换的能力与接口	核实每个项目的实际开放范围
PI	通用策略的动作生成与泛化能力	在已有操作先验上继续训练	身体适配、任务后训练与交付

【判断】四派并不互斥。研究者、数据和工具在不同机构间流动，共同起点也可能成为商业竞争的基础。开放能降低采用门槛；收费则可以围绕硬件、现场适配、可靠运行与服务展开。

自测 2｜开源与商业化，为什么不一定冲突？

回答：因为开放的部件和收费的价值可以不同。

为什么：杯子分拣模型可以公开，但客户还需要现场适配、设备维护和故障处理。客户购买的是持续完成工作的能力，未必是模型文件本身。

边界：这是一种可能的商业结构，不证明某家公司已经形成盈利模式。是否能收费，还要看客户愿意为什么结果付费，以及交付成本能否控制。

1.3 “开源”至少要拆成六个问题

【推导】把机器人比作“身体加大脑”很直观，但容易让人误以为拿到大脑就拿到了全部能力。实际检查一个项目时，应打开六个抽屉：

开放的对象	你得到什么	仍然不能自动得到什么
论文与方法说明	理解模型设计和实验报告	可运行的完整实现
推理代码	加载模型、处理输入、得到输出的方法	已训练参数和训练过程
模型权重	一份训练后的参数状态	形成这些参数的全部数据与计算条件
训练代码与配方	更新参数、组织训练的实现	原始数据、全部清洗规则和相同训练资源
数据与元信息	可以被检查或用于训练的经验记录	对任意用途、任意衍生数据的同一许可
硬件接口与评测	接入特定设备、比较特定任务的方法	任意机器人即插即用，以及现场可靠性

许可证还需要横向检查：代码、权重、底座模型、数据可能分别受不同条款约束。仓库首页的一张许可证，不能替代对整个依赖链的检查。这里讨论的是材料识别方法，不替具体用途作法律结论。

【研究】以 openpi 为例，2025年2月的发布公告列出了代码、权重与适配示例；公开仓库包含训练实现，但这不等于公开了 PI 训练所使用的全部机器人数据。当前仓库对 π₀.₅ 的支持也有范围说明：支持的是 flow-matching head 的训练与推理，不能据此认定论文全部组件均已原样公开。因此，“只能调用”和“可以完整重建基础模型”之间还有很大的空间。openpi 发布公告、官方仓库

自测 3｜权重、训练代码都有，为什么还不能说“完全可复现”？

回答：因为复现还依赖数据、预处理、训练配方、计算预算与评测条件。

为什么：你可以用公开代码训练出一个模型，但如果数据来源、采样比例或动作归一化不同，得到的能力就可能不同。“能重新运行训练”与“能重现报告结果”是两件事。

边界：还要说明复现哪一层：检查点推理、目标任务微调，还是从头预训练。前两项可以有很高价值，即使第三项做不到。

1.4 模型、数据、工具为什么必须一起看？

【研究】Open X-Embodiment 提供跨机器人经验与标准化数据组织；LeRobot 把机器人学习中的采集、数据处理、训练和部署接口放到共同工具链中；仿真器则提供可以重复和扩展的环境实验。三者提供不同能力，不能简单相互替代。Open X-Embodiment、LeRobot 论文、Genesis 并行仿真文档

Open X-Embodiment 的原始研究汇集22种机器人本体，项目数据覆盖超过100万条真实轨迹。值得记住的首先是把分散实验室的经验变成可联合研究的资源，而不只是一个很大的数字。项目数据说明

【推导】假设甲实验室擅长抽屉操作，乙实验室擅长桌面拾取。共享数据可能让后来者同时看到把手、遮挡、接近与抓持的多种情形；但两家的控制接口不同，必须保留差异并做适当适配。由此才可能形成“别人遇到的情况，帮助我少走一段学习路”的正迁移。

这与互联网语料又有区别。网页上能找到大量“怎样打开抽屉”的描述，却不一定有某种机械臂当时的关节状态、施加的动作和后续反馈。真实交互数据难以直接从网页补齐，所以公共机器人数据的意义很大。

【视频】节目也保留了数据路线上的分歧：一种看法更重视 VLM 已有知识，期待少量目标数据就能完成适配；另一种更强调接触与动作细节需要真实经验补齐。节目中的数据讨论【判断】两者不能脱离任务比较。识别该拿哪件物体与稳定插入精密零件，对知识和控制精度的要求不同。真正应检验的是：在同一身体、任务与质量门槛下，已有先验减少了多少目标数据，而不是抽象争论“互联网知识够不够”。

【推导】在杯子分拣任务里，可以这样理解它们：数据告诉模型“发生过什么”；学习方法决定“怎样从经验形成策略”；工具把经验组织起来、把策略接到设备上；评测检查“接上以后是否真能工作”。

它们之间的连接并非天然成立。数据文件能读进程序，不表示动作含义相同；仿真能运行，不表示摩擦与真实杯壁一致；代码能输出动作，也不表示机械臂控制器接受这种命令。

自测 4｜开源社区为什么不能只开放模型，把数据和工具留给每个团队自建？

回答：那样只能复用部分能力，很多重复劳动仍停留在连接处。

解释：模型规定需要什么输入，数据记录经验，工具负责采集、转换、训练和执行。若每个团队都要重写这些连接，许多改进无法比较，也难以迁移。共享格式与工具能减少这类摩擦，但还需要保留物理语义和设备差异。

进一步想：复用得越多，越要知道哪些假设一起被继承了。例如原数据默认的相机位置、动作单位和采样频率，可能正是新设备失败的原因。

第一部分的落点：开源的价值是让更多团队获得可检查、可修改、可积累的起点。要知道这个起点离你的任务有多远，接下来需要打开模型与机器人之间的连接。

二、模型怎样接上真实世界

2.1 VLA 的输入与输出，到底是什么？

VLA 是 Vision–Language–Action。它把视觉、任务语言与动作学习联系起来；具体模型还可能输入机器人状态、历史观察等信息。它不是“先聊天，再把文字随便转成运动”。

【推导】对我们的杯子任务，一次策略决策可以抽象为：

$$A_t \sim \pi_\theta(\,\cdot\mid o_{t-k:t},s_t,\ell\,),\qquad A_t=(a_t,a_{t+1},\ldots,a_{t+H-1})$$

这里，$o_{t-k:t}$ 是当前或一段历史观察，$s_t$ 是关节、夹爪等机器人状态，$\ell$ 是任务要求，$\theta$ 是学到的参数，$A_t$ 是未来一段动作。不同模型不一定使用全部输入，$H=1$ 时也可以只输出一步。

举例说，摄像头看到红杯在左边，任务是“把红杯放到圆托盘”，夹爪现在张开。策略需要把这些条件联合起来，输出接近、抓取和移动的动作信息。语言指定目标，图像提供场景，状态说明身体所处的位置；控制系统再把动作表示落实为运动。

【研究】原始 OpenVLA 通过视觉编码器与语言模型预测动作 token，再解码为连续动作。π₀ 则在预训练 VLM 基础上增加连续动作生成机制。它们都叫 VLA，并不意味着动作表示和生成过程相同。OpenVLA 论文、π₀ 论文

自测 5｜VLM 能看懂“红杯在托盘旁边”，为什么还不能直接分拣？

回答：场景理解并没有给出适合当前身体执行的动作。

为什么：机器人还要确定夹爪接近方向、轨迹、张合时机，以及执行后的状态是否符合预期。同一句“抓起杯子”，对应不同机械臂和夹爪时，动作可以完全不同。

边界：VLM 可以为目标识别、任务分解提供信息，但是否能直接控制，要看它是否接入了经过训练或设计的动作策略与执行系统。

2.2 从 OpenVLA 到 π₀：动作为什么有不同的生成方式？

【研究】原始 OpenVLA 将动作数值离散化，借助 token 预测生成控制信息；Octo 使用 Transformer 与 diffusion 动作解码；π₀ 使用 flow matching 生成连续动作块。这是几种不同设计，不能把它们排成“旧的必然被新的取代”的单线进化史。OpenVLA 论文、Octo 报告、π₀ 论文

【推导】先想一个动作选择问题：从杯子的左侧绕过去，或者从右侧绕过去，都可能成功。若训练数据中两种路线各占一半，直接把它们平均成“走正中间”，反而可能撞上障碍物。机器人学习需要表示的往往是多个可能成功的动作分布，而不只是一个平均答案。

方式	怎样理解	需要注意的代价
动作 token	把动作值编码成离散符号，学习在当前条件下应输出哪些符号	数值精度、序列长度和生成速度之间需要权衡
Diffusion 动作生成	从带噪动作逐步得到符合条件的动作序列	多步采样会增加计算；速度与质量要共同评估
Flow matching 动作生成	学习把简单分布中的样本沿一条变换路径送到合适的动作分布	同样需要采样与执行设计，不能凭方法名保证实时性或稳定性

理解 flow matching，不必先背微分方程。可以把初始样本理解为一段尚无意义的候选动作序列；模型根据场景和指令，多次预测应如何修改它，使其逐渐接近训练数据中合理动作的分布。这里的“流”是生成过程中的分布变换，不是说真实机械臂在每一步都沿着那条数学路径运动。

动作生成得连贯，不表示物理上一定可行。训练数据覆盖、动作约束、控制接口和反馈仍然重要。漂亮的采样过程不能替代机器人对杯壁摩擦与可达范围的实际适配。

自测 6｜π₀ 用 flow matching，所以它是在做强化学习吗？

回答：不能这样判断。Flow matching 是动作分布的建模与训练方法；强化学习关注如何通过奖励优化策略，两者不是同一分类维度。

为什么：用示范中的观察与动作训练策略，可以属于模仿学习。未来也可以用奖励信号改进这种策略，但奖励优化不是 flow matching 这个词自带的含义。

边界：必须查看具体模型版本与训练流程。不能因为一个团队后来研究强化学习，就把早期 π₀ 的方法一并改写成强化学习。

2.3 动作块解决了什么，又引入了什么问题？

【推导】假设策略一次规划接下来一秒的动作。这样，它能把“靠近杯子 → 合拢夹爪 → 抬起”作为有联系的片段处理，而不必把每个动作点都视为独立决策。

但如果杯子在这段时间里被挪走了，旧计划就可能过时。因此，系统往往需要在执行一部分动作后，利用新观察再规划，或采用专门的异步推理与动作衔接机制。动作块越长，越有利于组织一段运动；执行得越久才更新，对环境变化的反应也可能越慢。具体效果取决于实现，不是固定定律。

【研究】原始 π₀ 论文采用长度为50的动作块；附录D说明，在50 Hz的平台上，每执行25个动作、即0.5秒，重新推理一次。按此设置，一块动作约覆盖1秒，执行一半后更新，而不是每20毫秒重跑完整模型。20 Hz的平台另有节奏，不能把一个设置推广到所有机器人。π₀ 论文，附录D

【推导】因此要区分三个时钟：动作序列中的采样间隔、模型重新生成动作的频率、底层控制器的运行频率。后来的异步推理或动作衔接实现还可能改变它们之间的关系，不能仅凭一个 Hz 数字推断系统反应速度。

小米的例子：旧动作还没执行完，新计划怎样接上？

【研究】Xiaomi-Robotics-0 让当前动作块的执行与下一块的推理重叠，并用动作前缀与时间对齐处理衔接。它还针对模型过度依赖前缀、忽略新观察的问题设计训练方法。原始论文、作者机制说明

【推导】假设机械臂正在把杯子移向托盘，新一轮推理开始后，旧动作仍会执行一小段。新计划必须承认这段“已经无法撤回”的运动，否则接续时容易跳变；但如果只顺着旧轨迹预测，就可能看不见托盘已被挪动。于是系统要同时解决两个问题：接上已经发生的动作，响应刚刚发生的变化。

异步不只是“另开一个线程”，动作前缀也不只是平滑技巧。训练时看到的条件，必须与部署时“旧动作继续执行、新观察到来”的情况相容。这个例子把推理延迟从一个速度参数，变成了模型、训练和运行共同处理的问题。

自测 7｜“50 Hz 动作输出”能证明机器人每20毫秒看一次并想好下一步吗？

回答：不能。动作点频率与观察驱动的重规划频率可以不同。

为什么：一次推理可以产生许多未来动作点，系统之后按顺序执行。动作看起来连续，不代表每个点都使用了刚刚到达的新图像。

应看什么：测量从新图像到动作生效的延迟、执行了多少旧动作、何时替换计划，以及延迟的高分位数。平均推理速度只是其中一项。

2.4 从多种身体学习，为什么仍然要适配我的机械臂？

【研究】Open X-Embodiment 的研究展示了跨机器人数据带来的正迁移；Octo 则专门评估了对新观察和动作空间的微调。这些结果支持“其他身体的经验可能有帮助”，并不等于“新身体不需要适配”。Open X-Embodiment 论文、Octo 项目

【推导】跨本体迁移，可以拆成三层：

1. 任务意义：红杯是目标，托盘是目的地；这一层较容易共享。
2. 操作规律：接近、建立抓持、抬起、移动、释放；这一层可能迁移，但仍受物体和夹爪影响。
3. 身体实现：关节怎么转、力和速度怎样限制、相机坐标怎样换到机械臂坐标；这一层有很强的设备依赖。

即使两台机械臂都输出7个数字，含义也可能不同。一台输出末端位姿增量和夹爪命令，另一台输出关节位置。向量长度相同，只说明数组形状相同，不能证明物理意义相同。

【研究】X-VLA 提供了一个具体思路：为不同数据源或本体引入可学习的 soft prompts，让共享网络利用这些差异信息。这些是训练得到的向量，不是用户写一句“你现在是一台新机器人”，模型就自动学会新身体。X-VLA 论文

推理练习｜换夹爪后为什么抓不稳？

假设原夹爪的接触垫较软，新夹爪较硬。模型仍能选对杯子，接近位置也基本正确，但抬起时经常滑脱。第一步不应只问“模型是不是太小”。应先定位失败阶段：识别与接近通过了，缺口更可能在接触、夹持或动作映射。检查夹爪开度的含义、抓持位置和相关示范，再决定是否要补数据、改控制或调整策略。

这个例子说明：失败定位先于训练方案选择。同样一个“成功率下降”，可以由完全不同的环节造成。

自测 8｜“零样本”为什么一定要问：对什么零样本？

回答：因为新物体、新背景、新任务、新身体是不同的分布变化。

为什么：模型可能在训练过的机械臂上第一次见到某种杯子，却早已学过同一抓取任务和动作接口。这与第一次接入完全陌生的机械臂不是同一难度。

判断边界：读到 zero-shot 时，把没有提供的数据具体写出来，并同时记录仍然共享的训练条件。缺少这个说明，“零样本”几乎无法比较。

2.5 机器人数据，为什么不能只数“小时”或“轨迹”？

【推导】一条机器人示范不是单独的视频。理想情况下，它还记录时间对齐的观察、状态、动作与任务信息。学习过程需要知道：在这样的场景和身体状态下，执行了什么，随后发生了什么。

数据要素	杯子任务中的含义	出错后的典型影响
图像与视角	杯子、夹爪、托盘在画面中的关系	视角变化可能让原有空间线索失效
状态与动作	当前关节状态、目标位姿或夹爪命令	单位、坐标系或归一化错误，会改变动作意义
时间戳	哪张图对应哪次命令及其反馈	错位会让模型学到错误的观察—动作关系
任务与结果	分拣到哪里，是否放稳，是否需要重试	只标“完成动作”可能掩盖结果不合格
场景与来源	杯型、光照、操作者、机器人配置	无法追踪来源，就难以检查分布覆盖和数据泄漏

【研究】LeRobotDataset 的官方文档将时序数据、视频和元信息一起组织；元信息还描述帧率、特征形状与归一化统计。这能减少重复读取与管理工作，却不会自动校正采集时已经发生的错位。LeRobotDataset 文档

【推导】数据多样性也不是“越杂越好”。如果新数据带来此前没见过的杯型、抓法与场景，可能提供帮助；如果同名动作在不同来源里语义相反，未经处理直接混合，就可能增加冲突。应该问新增数据补上了什么缺口，而不只是总量变大了多少。

推理练习｜两份同样100小时的数据，怎样比较？

甲数据几乎全是同一张桌子上的熟练抓取；乙数据覆盖不同杯型与光照，但时间同步有明显错误。不能仅凭“乙更丰富”就认定它更好。先修复或剔除不可用记录，再比较有效覆盖；最后在固定模型、训练预算和测试集下验证。质量、覆盖和数量共同影响收益，不能用一个维度替代另外两个。

自测 9｜统一数据格式，为什么没有消除跨机器人训练的难题？

回答：格式统一解决“怎样存取”，语义对齐解决“这些值是什么意思”。

为什么：两个文件都可以有 action 字段，但一个用米，一个用毫米；一个是绝对目标，一个是相对增量。它们能被同一读取器加载，不表示能被同一策略正确学习。

应怎样做：保留来源和配置，明确坐标系、单位、时间关系与控制模式，再设计转换和训练混合。转换本身也应有可检查的例子。

2.6 LeRobot、Genesis 与 OM1，分别帮你解决哪一段？

【研究】LeRobot 面向机器人学习的工具链；Genesis 提供物理仿真；OpenMind OM1 是连接多模态输入、模型决策与动作接口的运行框架。这三个项目的职责不同，把它们并列为“机器人大脑”会掩盖关键区别。LeRobot、Genesis、OM1

【推导】回到杯子任务：

• 用学习工具链管理示范、训练策略，并接入支持的机器人接口。
• 用仿真构造可重复的场景，检查特定动作或训练假设。
• 用运行框架连接“接到分拣任务—调用技能—读取结果—决定后续动作”。

它们能否组合，需要检查具体适配，不应只把项目名串起来就宣布流程完整。策略输出的控制模式、仿真的机器人定义、现实设备驱动、数据版本，都可能成为连接处的工作。

【研究】OM1 的官方说明明确假设硬件侧具备高层运动或动作接口；缺少相应底层能力时，仍需借助控制、强化学习或 VLA 等方法建立它。因此，修改运行配置或提示词，与训练出一项新的精细操作技能不是同一件事。OM1 硬件接入说明

低成本硬件的意义：亲手做出第一条示范

【研究】SO-100 的公开方案可以与 LeRobot 配合，以 leader 示教臂和 follower 执行臂组成遥操作设置：人移动示教臂，执行臂跟随，记录摄像头观察与动作。视频时期的 SO-100 文档

【推导】它改变的不只是采购门槛，而是学习路径。初学者可以亲自经历“校准 → 操作并记录 → 检查数据 → 训练 → 执行 → 分析失败”。一段拾取失败的记录会让时间同步、相机位置、动作归一化这些词变得具体。低成本也不意味着这些问题消失，反而让更多人有机会理解它们。

Hugging Face 收购 Pollen Robotics、推出 Reachy Mini，则把模型社区与开放硬件进一步连接。Reachy Mini 主要提供桌面交互和应用编程入口；它与抓取机械臂解决不同问题，不能把两者的价格或能力直接对比。收购公告、Reachy Mini 发布

自测 10｜想学 VLA，我应该先追最新模型，还是先完成一次采集到执行？

回答：如果还没有亲自完成过闭环，一次范围明确的采集、训练与执行，往往更能帮助你理解模型差异。

解释：看到自己的数据错位、夹爪动作含义不一致或执行延迟之后，就能具体判断新论文究竟解决了哪一段。否则，容易把更高吞吐、更大数据量和更强泛化当成同一种进步。

学习顺序：先理解可复现的小任务与基线，再带着明确失败去读新方法。研究目标若本来就是模型结构，则可以从公开数据与评测开始，不必为形式完整而先购买硬件。

自测 11｜给机器人加一句“请小心拿起杯子”，为什么不一定能学会轻拿？

回答：提示词只能在系统已有的理解、技能与接口范围内发挥作用。

为什么：如果底层抓取技能没有表达夹持力度的能力，或从未学过相关接触条件，上层语言无法凭空补出这种控制能力。

边界：当系统已经提供可靠的力度模式或相应技能时，语言可以帮助选择它。关键是语言背后是否有可执行、可验证的能力。

2.7 从学会动作到持续完成任务，中间还缺一个闭环

【推导】一个杯子成功放入托盘，只完成了局部技能。完整分拣流程还要知道有没有拿错、杯子是否放稳、托盘是否已满，以及失败后如何继续。

可以把系统关系写成一条有反馈的路径：接收任务 → 观察与选目标 → 产生并执行动作 → 检查结果 → 继续、重试或转交处理。检查结果必须影响下一步，才形成闭环；只是把录像存下来，并没有让当前机器人纠正错误。

把前面出现的项目放回这条路径，就能避免“项目名很多，系统仍然不清楚”的困惑：VLA 提供动作策略，运行框架组织模块调用，设备控制器执行运动，任务系统管理状态与完成条件。一个项目可能覆盖其中多项，但能力覆盖范围必须从实现确认，不能从名字推断。

这也解释了为什么“会生成动作”与 Physical Agent 不是同一个概念：前者提供行动能力，后者还要组织任务过程中的状态、决策与反馈。具体系统可以由多个模型与传统模块共同组成，不必由单个神经网络包办。

自测 12｜模型说“已完成”，能不能直接结束任务？

回答：应依据可观察的验收条件判断，而不是只依据生成文本。

为什么：在杯子任务里，动作结束可能只是夹爪张开；杯子是否在正确托盘、是否站稳、数量是否正确，还需检查。动作执行状态与任务结果属于不同层次。

怎样学习：先给任务写出明确的完成条件，再反推需要哪些传感器、结果判定和恢复动作。这样才能知道模型之外还缺什么。

三、怎样判断它是否值得采用

3.1 把“成绩更好”翻译成可以检查的结论

【研究】OpenVLA 原始论文报告：7B 模型在指定29项任务、多个机器人本体的评测中，相对55B RT-2-X 的绝对成功率优势为16.5个百分点。这是特定评测的汇总结果，不是所有技能都更强；项目页同时展示了 RT-2-X 在困难语义泛化案例上的优势。OpenVLA 论文、官方评测说明

【推导】这个结果真正有学习价值的地方，是它提醒我们：模型能力与参数量之间没有一个脱离数据和任务的简单对应关系。数据覆盖、动作表示、训练方法与评测任务都参与决定结果。

但也不能反过来说“小模型必然更好”。如果两个模型的预训练数据、动作数据和训练计算都不同，比较的是两个完整系统配置；要判断某个设计的独立贡献，还需要消融实验。

Claim：常见说法	Evidence：应核对的证据	能支持什么	仍然缺什么
开放模型超过了闭源模型	同任务、同口径的比较和逐项结果	某个版本在该评测上更好	所有任务、所有身体与部署条件下的优越性
新身体只需少量示范	示例数量、适配参数、硬件与任务变化	在给定变化范围内适配有效	不提供目标身体数据也能工作
新环境泛化良好	训练/测试分离规则与失败记录	对所测试环境变化的适应能力	任意家庭、任意流程的可靠性
模型和训练代码开放	可获取的仓库、检查点、数据说明和许可证	可以开展相应层次的检查与适配	原始预训练完整可重建
仿真吞吐很高	环境数、步长、求解器、渲染与硬件条件	指定设置下生成状态转移的速度	同等数量的有效真机经验

推理练习｜提高16.5个百分点，与提高16.5%一样吗？

假设基线成功率为40%，增加16.5个百分点后是56.5%；相对提高16.5%后则是46.6%。这是解释指标口径的假设数字，不是重建 OpenVLA 的原始平均成功率。读性能报告时，先确认作者说的是绝对差、相对比例，还是任务间的平均值。

自测 13｜一张平均成功率表，为什么还不够选模型？

回答：因为你的任务分布、失败代价与计算条件，可能不同于表里的平均条件。

为什么：模型甲可能更善于听懂复杂指令，模型乙可能更擅长一个固定姿态下的精确抓取。如果你的工作站只做后者，总平均排名未必是最重要的信息。

应补什么：逐任务表现、试验次数、适配预算、延迟、失败类型与所需人工操作。排名是进一步调查的入口，不能代替这些信息。

3.2 π₀.₅ 的泛化，应当怎样读？

【研究】π₀.₅ 研究的一个重点，是让策略在训练之外的新家庭环境中完成操作，并结合异构数据学习更广的能力。这里“新环境”指评测与训练环境之间的分离，并不等于模型从未学习过相关操作、机器人动作或任务知识。π₀.₅ 论文

【推导】对杯子任务，“换了一间厨房”可能同时改变光照、台面、物体摆放与背景。但它未必改变夹爪结构，也未必改变“抓起并放下”的基本任务。准确的泛化陈述，应指出哪些条件变了，哪些条件没变。

可以用一张自己的测试表替代笼统的“泛化强”：

测试层次	本轮只主要改变什么	主要检查什么
熟悉设置	保持设备、杯型与背景，改变初始位置	基础操作是否稳定
视觉变化	光照、背景或相机条件	是否依赖脆弱的视觉线索
物体变化	杯型、材料、尺寸	识别、抓持和接触是否迁移
任务变化	托盘目标或分拣规则	是否理解条件与任务约束
本体变化	夹爪、机械臂或控制接口	身体适配需要多少额外工作
流程变化	连续工作、托盘满载、失败后恢复	局部技能能否组成可靠流程

【判断】先逐项检查，再测试组合变化，能更容易定位失效来源。单因素测试便于理解，组合测试则更接近现场，两者承担不同职责。

自测 14｜在陌生厨房成功，能推出“所有机器人都能用”吗？

回答：不能，环境泛化与本体泛化是两个维度。

为什么：同一台机器人进入新厨房，仍保留相同的关节、夹爪和动作接口；换身体则改变了实现动作的条件。前一种实验不能直接验证后一种能力。

怎样表述：写清“哪台机器人、经过何种训练、在何种新环境、完成哪些任务”。这样的陈述更短、更准确，也更容易被后来实验更新。

3.3 让数据价值成为实验问题，而不是口号

【推导：未执行的实验设计】假设你已经有一台机械臂和一批杯子示范，想知道开放预训练是否真的有用。先固定相机、动作接口、目标数据与验收规则，再比较两个起点：从随机初始化学习，和从开放检查点适配。

不要只给一次大数据量。可以使用逐步增加的示范预算，观察达到同一验收水平需要多少数据和训练成本。小数据时有明显优势、大数据后差距缩小，也是一种有价值的结果：它说明预训练主要节省了某个阶段的学习成本。

若进一步想知道“混合其他身体的数据有没有帮助”，应在可控范围内固定总样本数与训练计算，比较仅目标域数据和混合数据，再补充总预算不同的实际成本比较。否则，得到的提升可能只是因为训练更久或看了更多样本，不能单独归因于跨本体信息。

测试集怎么分，比先选哪个模型更重要。同一段轨迹的相邻帧高度相似，随机分帧可能让训练和测试几乎看到同一场景。应按完整轨迹划分；若要测新杯型或新场景，还应把这些对象或场景整体留出。

【判断】样本少时，最好报告“成功次数/尝试次数”与不确定性，而不只给一个精确到小数点的百分比。按任务和场景分别报告，也能避免某些容易任务掩盖困难任务。

自测 15｜训练损失下降，为什么不能直接证明杯子分拣更好了？

回答：损失衡量模型对训练目标的拟合；分拣结果取决于模型闭环执行后产生的状态。

为什么：一个很小的抓取误差，可能让杯子留在原地。接下来机器人看到的情况就偏离示范轨迹，误差可能继续累积；离线损失未必充分反映这种后果。

应补什么：在固定条件下重复执行，检查抓取、运输、放置和结果验收分别在哪一步失败。离线指标用于诊断，闭环结果用于验证任务能力。

3.4 仿真快了很多倍，为什么不等于经验也值很多倍？

【研究】Genesis 的官方性能说明区分总 FPS、每环境 FPS 和并行环境数；总 FPS 可以是许多环境的仿真步数之和。它不是默认指一条机器人轨迹以同样倍数、包含全部视觉与控制开销地运行。Genesis 性能测量文档

【推导】评估一个“每秒几千万帧”的数字时，先问“帧”是物理更新、渲染图像，还是包含策略推理的完整交互。然后看有多少并行环境、每步代表多少模拟时间，以及是否包含接触求解、相机渲染和数据写入。

更关键的是，数量放大不会自动修正环境模型的错误。假设仿真杯壁比现实更容易抓住，策略在仿真中反复成功，可能只是更熟练地利用了不真实的摩擦条件。

改变质量、摩擦、光照等参数，可以检验策略是否依赖某一狭窄条件，也可以作为训练手段。但变化范围仍需有依据；任意扩大参数范围，既可能增加无用难度，也可能漏掉真正的现场偏差。仿真与真机的差异，要通过实测逐步约束。

自测 16｜“一小时仿真等于几十年经验”这类说法，应怎样理解？

回答：至多先理解为某种设置下累计模拟时间或样本吞吐的换算，不能直接理解为能力或有效经验等价。

为什么：并行重复很多相似环境可以产生巨大步数，但经验是否有价值，还取决于场景覆盖、物理准确性、策略探索以及目标任务。

应核对什么：换算口径、并行数、时间步长、是否渲染和包含推理，以及最后的真机迁移结果。少了这些条件，倍数很难帮助做决定。

3.5 从演示到工作站：用合格产出衡量价值

【推导】如果你的目标是研究新动作方法，评测可以重点关注学习能力；如果目标是交付一个分拣工作站，就要把视线放到持续合格产出。

一个简单的核算方式是：

$$\text{每件合格产出成本} =\frac{\text{期间设备分摊+计算+数据与适配+运维+人工介入成本}} {\text{同期验收合格件数}}$$

分子和分母必须覆盖同一统计期间。不能拿长期摊销成本去除以一天产出，也不能把需要返工的杯子算作无需人工的合格产出。这个式子是核算框架，不是任何厂商已经达到的成本结论。

假设算例：方案甲连续工作一小时，处理100只杯子，其中90只一次验收合格；方案乙处理80只，78只合格。只看合格率，乙更高；只看合格产出，甲更多。若甲还需要频繁人工整理或返工，成本比较又可能改变。必须把合格件数、周期时间、人工分钟数和停机时间放在一起。

再看流程可靠性。假设一个流程由10个条件独立、每步成功率都为98%的步骤组成，那么全流程一次通过概率约为 $0.98^{10}\approx81.7\%$。这是教学近似：真实失败可能相关，恢复动作也会改变结果。它提醒我们，局部指标看起来很高，仍不能替代完整流程的直接测量。

自测 17｜失败以后能自己重试，为什么还不能只报最终成功率？

回答：因为重试可能消耗时间、增加损耗，或仍需要人工复位。

为什么：两套系统都能最终完成90%的任务，但一套通常一次完成，另一套每次要重试多轮，生产价值可能很不同。

更完整的指标：一起报告首次成功率、允许重试后的成功率、完成耗时、介入次数和人工处理时间；并明确什么时候停止重试、怎样认定失败。

3.6 开放是否形成优势，要看改进怎样发生

【判断】开源可能产生四种不同收益：别人更容易采用你的接口；研究者更容易发现和修复问题；应用团队更容易适配新的设备；共同工具减少生态内重复劳动。但这些收益都有前提：材料可用、文档足够、版本能维护、贡献能被吸收。

这也能解释视频中“免费大脑背后的博弈”。一个企业可以开放通用起点，同时继续投入更广的数据、更稳定的训练或更完整的交付；一个平台可以通过降低模型采用门槛，增加工具与算力的使用；一个硬件团队可以通过开放接口，让更多策略接入设备。这些是可能的收益机制，不是关于各家公司内部计划的断言。

观察到的开放行动	可能形成的正反馈	必须跨过的实际门槛
发布模型与适配示例	更多团队试用，产生评测与改进	文档、运行成本和维护响应足够好
发布数据与训练配方	其他人能研究混合方式、表示与训练方法	数据质量、许可、语义和版本可追踪
开放硬件接口与工具	同一种技能更容易接到更多设备	接口稳定，底层能力与反馈真实可用
公开失败案例与任务评测	研究更接近现场问题	有共同口径，失败能被复现与定位

开放与封闭的竞争，也不是“社区规模”对“公司资金”的简单对赌。封闭团队可能更容易统一硬件、数据和控制设计，开放生态则可能汇聚更广的任务与实现。前者要证明能力能扩展，后者要解决碎片化和集成责任。两者最终都要回答同一个问题：新任务的适配成本是否持续下降，可靠性是否持续提高？

部署数量增加，也不意味着数据自动回流。别人下载一个模型，不会因此自然地把工厂数据送给模型作者。错误报告、代码贡献、评测结果和原始操作数据是不同反馈，涉及不同流程与共享安排。分析所谓“数据飞轮”时，要指出回流的究竟是什么、通过什么机制发生。

同样，依赖某个平台既可能节省集成时间，也可能增加更换组件的成本。不能因为依赖存在就否定开放价值，也不能因为代码可见就认定迁移没有成本。对使用者更有意义的问题是：数据能否导出、动作接口能否替换、模型能否在目标条件下运行，以及团队能否承担后续维护。

【研究】OpenMind 的早期研究曾提出把行为约束记录到以太坊公共账本，增加可审查性。OpenMind 原论文【判断】这解释了为什么开放讨论还涉及信任机制，但透明只是便于审查的条件。可见的代码仍可能有缺陷；记录不可篡改，也不会自动阻止错误动作执行。对物理系统而言，约束是否真的落在执行路径上、故障时是否按预期停止或转交处理，都需要验证，不能由“开放”标签代替。

自测 18｜如果模型人人都能下载，应用团队还能积累什么优势？

回答：可以积累目标场景的数据质量、失败诊断、设备适配、评测体系与稳定交付能力。

为什么：公共模型提供的是共同起点。知道自己的杯子为什么滑落、哪些示范有用、怎样减少人工复位，以及怎样持续维护设备，仍然需要现场知识与组织能力。

判断边界：这些工作是否构成持久优势，还取决于是否能复用、是否易被复制，以及是否真正降低交付成本。工作做得多，不等于优势一定强。

3.7 用一页纸，完成自己的选型与学习闭环

【推导：未执行的方案】假设你要评估杯子分拣原型，可以先写下六项内容。不要一开始就用公司名单代替问题定义。

要写清的内容	一份有用的回答应该包含什么
任务	杯子范围、托盘规则、质量要求，以及暂不处理的情况
身体与输入	机械臂、夹爪、相机位置、可用状态、动作接口
候选起点	一个简单可解释的基线，一个相关的开放策略；说明为什么可能适用
适配预算	可提供的示范、训练计算、工程时间，以及比较时固定哪些条件
验收	完整尝试次数、逐阶段失败、合格件数、耗时、人工介入；留出哪些新条件
去留条件	什么结果支持继续，什么结果说明应先改数据、接口或任务范围

示例解释：如果杯子位置固定、种类单一、任务规则长期不变，一个较简单的专用方案也应进入比较。如果任务包含多杯型、多指令和场景变化，通用策略的迁移能力就更值得验证。选择复杂模型应有具体收益假设，而不是因为它在视频里更受关注。

做完这张表，再回答三个问题：

1. 哪一部分是已经知道的？例如当前设备的动作接口和已有示范，可以直接核对。
2. 哪一部分只是预期？例如预训练能减少一半示范需求，需要实验，不能先写成事实。
3. 什么结果会让我改变选择？例如新杯型仍需大量重采，或者更简单的基线已经满足产出要求，都可能改变原先判断。

这三个问题把阅读变成可更新的认识，而不是记住一个赢家名单。

综合练习｜团队说：“π₀ 已开源，用公共数据微调，再在仿真里练几小时，就能交付分拣机器人。”你怎样回应？

第一步，拆开可确认的部分：检查拿到的是哪个模型和检查点，训练代码与许可是否满足计划；公共数据包含哪些身体、物体和动作；仿真能否表达目标设备与接触条件。

第二步，找出未经验证的连接：公共数据是否能映射到目标动作接口，微调是否改善目标任务，仿真效果是否迁移，以及最终流程是否能检查失败并恢复。这些都不能由“开源”三个字推出。

第三步，安排最小的有效验证：固定一个有限任务与验收口径，先确认输入、动作与控制映射正确，再比较基线与适配策略，最后增加杯型、环境和连续运行条件。每一步都记录失败来源与额外成本。

合理结论：这些公开资源可能缩短原型路径，值得按明确假设验证；现有信息还不足以承诺交付时间与现场产能。改变结论需要相应实验和运行记录，而不是再增加几个项目名字。

3.8 继续阅读：每份材料解决一个问题

不用一次读完所有论文。先选自己还解释不清的问题，再带着问题进入原始材料。

你想弄明白什么	优先阅读	阅读时抓住什么
视频怎样组织这场行业变化？	视频原链接、硅谷101署名稿	区分嘉宾判断、节目叙事与可验证事实
动作 token 为什么能用于控制？	OpenVLA 论文、项目评测	动作表示、目标域微调、逐项失败与基线
不同观察和动作接口怎样适配？	Octo 报告、官方项目	新输入、新动作空间与微调条件
中国团队分别在改进哪一段？	小米 Robotics-0、LingBot-VLA、WALL-OSS	动作块衔接、目标任务适配、指令到动作的训练；不混入后续版本
π₀ 与 π₀.₅ 分别解决什么？	π₀、π₀.₅、openpi	动作生成、训练数据构成、环境泛化定义与可用材料
跨机器人经验怎样带来收益？	Open X-Embodiment、X-VLA	数据对齐、正迁移与适配机制
一个开放项目具体交付了什么？	GR00T N1 论文、官方仓库	论文版本、模型卡、代码与权重的分别许可
数据如何进入真实学习流程？	LeRobot 论文、数据格式	时间、状态、动作与元信息，而不只看视频
怎样亲自采集一条机器人示范？	SO-100 文档	示教臂、执行臂、相机与学习工具怎样连接
运行框架怎样依赖底层技能？	OM1 硬件接入	上层决策、动作连接与底层能力的责任边界

如果你已经读过《从 Reward 到 Physical Agent：Dyna Robotics 具身智能学习讲义》，可以把两篇文章放在一起理解：Dyna 一篇追问能力怎样学习并在部署中兑现；这一篇追问这些能力以什么形式开放、怎样被他人接续。它们最后都回到同一个具体问题：在给定身体、任务与成本条件下，机器人能否持续交付合格结果？