机器人怎样学会触摸：从传感器到接触智能

机器人已经看见纸杯，也把夹爪移动到了正确位置。接下来，它该夹多紧？杯子正在下滑，还是杯壁已经被压瘪？如果这些变化被手指挡住，仅靠外部相机，答案可能来得太晚。

触觉把“我打算怎样做”与“接触中实际发生了什么”连接起来。但传感器测到了信号，离机器人及时作出正确动作，还有材料、标定、数据、模型和控制几道关口。

本文围绕硅谷101的《机器人触觉的爆发前夜：五大技术路线、数据困局与模型之争》展开。视频主线依据硅谷101署名稿梳理，机制与实验对照原始论文。未取得可逐句核对的完整字幕，因此不提供未经验证的时间戳。资料核查截至2026年10月28日。

阅读入口	适合谁	带着什么问题读	建议用时
看见之后，为什么还需要触摸	初次了解具身智能、关注行业变化的读者	触觉补上什么能力，器件与应用为什么要一起看？	12–15分钟
接触怎样变成可用的反馈	想理解机制的学生、开发者与技术产品经理	形变怎样变成数据，模型怎样利用它调整动作？	25–30分钟
怎样证明触觉带来了价值	研究者、工程师和产品负责人	怎样读实验、做比较，并判断现场是否值得采用？	15–20分钟，含练习

全文以“拿起薄壁纸杯，移动后放稳，既不滑落也不夹坏”为教学任务。它用于解释原理，不冒充任何团队的实测结果。

证据标记：【视频】是节目或嘉宾的陈述；【研究】是原始论文或项目披露，未由本文独立复验；【推导】是教学解释与假设算例；【判断】是本文的评价。每道自测都附有可展开的解释。

一、看见之后，为什么还需要触摸

1.1 从“找到物体”走到“知道接触发生了什么”

【视频】节目从辨别真假花生、操作脆弱物体等场景出发，讨论触觉的必要性，再进入传感器、数据、模型与量产。这条线索关注的是接触能力如何形成，而不只是传感器参数。节目署名稿

【推导】用纸杯来理解，视觉可以帮助判断杯子在哪里、杯口朝哪、夹爪应从什么方向接近。接触以后，问题变成了：夹爪是否真正贴住杯壁，纸杯是否滑动，继续夹紧会不会造成不可接受的变形。

外部图像有时能间接提供这些线索，但存在遮挡和延迟，也未必足以确定接触力。触觉提供局部的直接交互信息，和视觉形成互补。腕部力/力矩、关节状态与电流也可能提供有用反馈，实际系统要根据任务组合这些信息。

辨别真假花生的例子，还引出一个比“多装一种传感器”更深的问题：有些信息需要通过行动才能获得。静止拍照主要提供外观；轻压可以观察顺应性，抬起可以提供与重量有关的线索，滑动可以产生纹理相关的振动。不是把所有信号都采一遍，而是选择能减少当前不确定性的动作。这属于主动感知的思路，不代表节目中的机器人已经测量了人能感觉到的所有属性。

【推导】再想两个接触任务。拧螺丝时，末端位置接近正确，并不保证螺纹已经正确咬合；持续用力可能扩大损伤。整理软线时，线的位置会随拉动变化，原先的视觉几何不能完全确定当下的张力。触觉与力反馈的意义，是让操作根据接触结果继续修正。若只是不断放慢、反复试探直到完成，成功率还需与用时、损伤和介入一起报告。

先记住一个区别：“物体看起来在哪里”与“接触处正在承受什么”是不同的问题。触觉的价值往往出现在两者不能相互替代的时候。

自测 1｜只用视觉也能拿起纸杯，为什么还要考虑触觉？

回答：要看目标任务中，接触状态的不确定性是否成为瓶颈。

为什么：固定杯型、固定姿态和充足时间下，视觉加既有控制可能已经足够。但杯壁厚度、表面摩擦或载荷变化后，同样的抓取动作可能滑落或夹坏。触觉能帮助系统根据实际接触调整。

边界：并非所有任务都必须增加触觉。应比较它能否在相同验收条件下减少失败、损伤或耗时，而不是把传感器数量当作能力指标。

1.2 触觉不是一个压力数值

【推导】把触觉理解为“按下去有多大力”，只能覆盖一部分问题。对操作更有用的表达是：哪里接触、怎样受力、是否在变化，以及这种变化意味着什么。

信息	直观含义	在纸杯任务中的作用
法向载荷	垂直接触表面的挤压	判断夹持程度及压坏风险
切向载荷与滑移线索	沿表面的受力、相对运动或局部滑动	判断抓持是否稳定，是否需要调整
接触位置与形状	哪一片区域贴合，边缘和曲面怎样分布	发现偏抓、接触面积变化或姿态偏差
时间变化	接触建立、载荷变化、振动与释放	区分稳定持握和正在发生的失稳
材料相关线索	形变、纹理、热或振动响应	辅助推断物体属性，具体取决于传感器与动作

这里列的是可能获得的信息，不意味着每个触觉传感器都能测到全部维度。普通光学触觉图像不等于温度读数；接触压力也不能直接代替摩擦系数。很多属性需要结合动作、时间变化和标定进一步推断。

【研究】GelSight 的工作展示了从局部接触几何、膜面运动和剪切形变中提取信息，并用于滑移检测。它体现的是“多种接触线索怎样辅助操作”，不能缩写成“一个压力值解决全部抓取”。GelSight 几何与滑移研究

自测 2｜压力没变，纸杯就一定没有滑动吗？

回答：不一定。法向载荷和切向运动描述不同的状态。

为什么：夹爪维持近似相同的挤压力时，杯子仍可能沿接触面缓慢下滑。一个总压力值也可能掩盖接触区域内部的变化。

应该看什么：结合切向受力、接触图案的时间变化、机器人状态或视觉反馈判断；具体采用哪些信号，要由传感器能力和任务需要决定。

1.3 五种技术路线，先看怎样把接触变成信号

【视频】节目介绍了压阻、压电、电容、光学和磁感应五种路线。【研究】这些名称主要描述转换信号的物理机制，不能直接当作整机性能排行榜。下表按原理重新整理，并保留结构与测量条件的影响。

路线	接触怎样变成读数	可以怎样理解它的用途	设计和评估时要检查什么
压阻式 Piezoresistive	载荷改变材料或导电结构的电阻	用电阻变化感知接触与载荷，阵列及结构可扩展方向信息	迟滞、重复性、漂移、量程和结构耦合
压电式 Piezoelectric	应力变化产生电荷信号	常用于动态载荷、振动和冲击；准静态能力依赖测量系统	电荷泄漏、测量时间窗、读出电路与动态范围
电容式 Capacitive	形变改变电极间距、重叠或介质条件	通过多个电容单元的响应区分法向和切向变化	寄生电容、结构设计、干扰、饱和与标定
光学式 Optical / Visuotactile	内部成像观察柔性表面的形变与光照变化	获得较密集的接触形貌、位移等线索	光路、材料、空间分辨率、时延和形变到力的映射
磁感应式 Magnetic	接触使磁性材料或磁体相对磁传感器发生变化	从磁场变化推断形变与接触，感应表面可与电子部分分离	外部磁场、几何布置、跨器件一致性和响应标定

一手例证包括多方向压阻传感器、Kistler 压电测量说明、三轴软电容皮肤、DIGIT与ReSkin。这些是原理或具体实现的证据，不是统一条件下的五路横向评测。

两个概念尤其容易混淆。第一，压阻式并非原理上只能感知垂直载荷，结构设计可以让不同方向产生可区分的响应。第二，压电式的静态测量限制，不等于任何测量系统都无法在有限时间窗内观察缓慢变化的力；时间常数和读出电路同样重要。

【判断】选择方案时，先写任务需求：覆盖多大面积、需要什么方向的信息、变化有多快、可接受多少厚度与维护成本。指尖精细操作和手臂大面积接触检测，未必适合相同配置。

自测 3｜光学触觉分辨率高，为什么不一定适合装满机器人全身？

回答：不同部位需要的信息不同，空间、带宽、算力和维护预算也不同。

为什么：指尖可能需要识别很小的接触变化，手臂某个区域可能主要需要发现接触发生。为两者配置同样密集的成像与处理链，未必带来相应收益。

边界：应该比较具体设备在目标任务中的表现。“光学”“磁感应”等类别不足以决定哪个产品更好。

1.4 走进实验室：为什么一块“能看见接触的皮肤”难做？

【视频】一目科技李智强（Eric）、陈天一与亚德诺半导体的于弢，从器件、数据与模型角度讨论触觉。实验室部分围绕材料、结构、算法和成本展开；后面还有“先独立学触觉，还是与视觉联合学”的分歧。这些问题共同决定信号能否变成操作能力。节目署名稿

【推导】可以把一只光学指尖想成一个小型测量系统：外层要接触物体，中间要按可理解的方式形变，内部要照亮并拍清楚，最后还要把图像对应到物理量。四个难点不是四项独立采购：

工程问题	为什么困难	对学习系统的影响
材料：轻触可测，又要经得住操作	硬度、厚度、磨损与响应范围相互影响	相同动作可能因材料变化产生不同信号
结构：放进指尖，还要看全接触面	摄像头有视场与工作距离要求，曲面又改变照明	有效覆盖、盲区和边缘质量影响可用信息
算法：从亮度和位移读出接触	几何、照明、材料响应混在同一幅图里	图像重建、力估计与任务判断需要分层验证
制造与成本：一只好用还不够	装配、表面更换、检测和标定都有成本	批次差异与维护会改变训练分布和交付成本

【研究】DIGIT 的公开设计同时处理紧凑封装、可重复制造和表面可靠性，并开放结构与接口。它说明触觉研究的贡献不仅可以是网络结构，也可以是让更多实验者获得一致、可维护的测量工具。DIGIT 官方设计说明

曲面指尖为什么尤其难？【推导】把平面传感面改成包裹指尖的曲面后，接触可以发生在更多方向，但表面法线、光源入射角和相机视线也随位置变化。中心标定得准，不表示边缘同样准。要缩小器件，就必须同时安排光路、视场、材料和标定，不能只把外壳等比例缩小。

【视频】走访中还有三项具体探索：可恢复材料、压缩光学工作距离，以及测量材料的 BSDF 后辅助光学设计。这些属于团队披露的研发方向，不等于寿命、良率和量产性能已经获得独立验证。实验室走访

【推导】BSDF 描述光从某个方向入射后，怎样向不同方向散射。它为什么会出现在触觉实验室？因为算法要从亮度变化推断表面朝向，而亮度又取决于材料如何散射光。测量这些性质，可以减少光学设计中的盲目试错。类似地，可恢复材料只有在修复后仍维持可重复的力学与成像响应，才有望减少维护；“表面看起来恢复了”还不是测量能力恢复的充分证据。

1.5 传感器、数据、模型、量产，怎样连成一条主线？

【推导】可以把应用链拆成四个问题：

能否测到：目标接触是否落在覆盖区域，信号是否足够稳定？
能否解释：读数变化来自真实接触，还是温度、老化、光照或装配差异？
能否及时行动：策略是否利用了最新信息，控制器能否执行调整？
能否重复交付：换一只传感器、工作更长时间后，能力是否仍然成立？

每个环节的误差都可能传到下游。模型再大，也无法直接恢复从未采到的接触细节；传感器再细，也无法弥补动作系统来不及响应。接下来沿着这条链，解释每一段怎样工作。

自测 4｜为什么触觉篇要花时间讲材料、光路和制造，而不直接讲大模型？

回答：因为模型的输入由测量系统产生，测量系统本身决定了哪些状态可区分、哪些变化能被可靠记录。

解释：如果同样的接触因光路或材料差异产生不同图像，模型要么学会这些差异，要么依靠标定减少差异。如果接触区域根本没被覆盖，后续学习也无法直接补回不存在的观测。

学习落点：判断一个触觉模型时，把它使用的器件、标定和采集方式一起看；判断一个传感器时，也要看它的数据能否改善下游动作。

二、接触怎样变成可用的反馈

2.1 先用纸杯理解：抓紧与夹坏之间的空间

【推导】在一个非常简化的模型中，两侧平行夹爪对称夹住物体，每侧法向力为 $N$ ，摩擦系数为 $\mu$ ，物体质量为 $m$ 。忽略转动、加速度和复杂接触，要抵抗重力，静摩擦能力至少需要满足：

2\mu N \ge mg

这个式子只说明一个关系：其他条件相同时，摩擦越小或物体越重，维持抓持通常需要更大的法向力。真实纸杯还受形状、局部屈曲、接触位置和载荷分布影响，不能直接用这个式子计算通用的“安全夹持力”。

假设杯子在某个抓法下，超过一定挤压就会损坏，那么操作要同时满足足够稳定和不过度挤压两个要求。如果两者无法兼得，继续加力没有意义，可能要改变接触位置、增大接触面积或换一种夹持方式。

触觉的作用，是为这个调整提供反馈：接触是否建立、是否出现滑动线索、形变是否持续增加。它帮助机器人减少对固定抓取参数的依赖，但不自动知道每种物体的损伤边界。

自测 5｜物体要滑落时，为什么“继续夹紧”不是唯一正确答案？

回答：加力可能改善抓持，也可能把物体夹坏；需要结合任务约束选择动作。

为什么：触觉报告的是状态变化，正确响应取决于物体、抓法和目标。纸杯与金属件，即使出现相似滑移线索，也可能需要不同处理。

更完整的选择：调整姿态、重新抓取、改变接触位置，或先放回支撑面。反馈必须与任务理解连接，不能只触发一种固定反射。

2.2 光学触觉：摄像头看的是怎样的“皮肤”？

【研究】GelSight、DIGIT 等视触觉传感器利用内部成像观察接触引起的柔性表面变化。GelSight 的研究说明了几何重建、接触位移与力相关信息之间的联系。GelSight 研究、DIGIT 论文

【推导】可以把处理链理解为：物体接触柔性表面 → 表面发生形变 → 内部光学图案改变 → 算法提取几何或位移 → 根据标定与模型估计接触状态。

这里的摄像头通常不是从外面拍摄纸杯。它观察的是传感器内部、与接触有关的表面变化。因此，即使杯子被夹爪遮住，仍可能获得局部接触信息；同时，它看不到没有接触到的整个杯子。

常见处理思路可以这样区分：

线索或方法	算法主要观察什么	不能直接推出什么
标记点跟踪	人工标记随表面运动的位置变化	点之间的插值并非独立测量；位移也不是未经标定的力
纹理与图像运动	纹理在接触前后的变化	图像变化必须与光照、形变等因素区分
光度立体 Photometric Stereo	已知照明下的亮度或颜色响应	重建依赖照明、反射特性和标定，不能简单“看颜色读牛顿”

【研究】改进版 GelSight 用光度立体估计表面法线并重建高度图。多方向照明与表面朝向的关系是关键；RGB 灯可以帮助区分照明通道，但光度立体这个方法并非定义上只能用 RGB 同时照明。几何重建论文

【推导】为什么形变不直接等于力？设想两块软硬不同的垫子，同样压下1毫米，需要的力可能不同。厚度、边界固定方式和加载速度也会改变响应。所以从图像推断力，需要材料信息、标定或学习到的映射。

把这条链放到一个具体过程中会更清楚。假设用一个圆头物体按压传感面：

先看差异：与未接触图像比较，找到发生变化的区域，排除固定背景与坏点。
再估几何：利用已标定的照明响应估计表面朝向，进一步重建局部高度；标记点移动则提供另一类表面位移线索。
最后映射到力：用已知载荷下的记录建立关系，或结合材料与接触模型估计受力。这里才进入力估计问题。
把时间接起来：检查接触区怎样扩展、位移怎样变化，再判断是在压入、切向拉动还是释放。

这是教学处理流程，不是所有光学器件都采用的同一实现。它解释了为什么“拍清楚了”只是第一步：几何可观测、力可估计、动作可控制，是三个连续但不同的目标。

自测 6｜触觉图像有几十万个像素，就相当于几十万个独立力传感器吗？

回答：不能等同。像素数量描述成像采样，独立可分辨的接触信息还受光学、材料和算法影响。

为什么：柔性表面会让一个位置的接触影响附近区域，像素之间可能高度相关。较多像素也不会自动提高力估计的准确度。

应核对什么：实际空间分辨率、最小可检测变化、标定误差、重复性和时延。把相机像素数直接与人类触觉受体数量比较，不能证明整体触觉能力超过人类。

2.3 软、薄、耐用：为什么材料也是算法问题？

【推导】较软的表面容易对轻微接触产生可观察的变化，但同样载荷下也可能更容易发生大形变。做薄有利于紧凑封装，却可能改变可承受形变、受力范围和对背衬结构的敏感性。耐用性还取决于材料、表面处理、接触物体和使用方式。

这类取舍是真实工程问题，但“软、薄、耐磨不可能同时实现”不能当作没有条件的数学定理。新材料与结构可以改变可行范围，代价也可能转移到制造、读出或标定。

为什么这会影响模型？因为模型学的是这套材料与结构产生的信号。更换表面后，同样的接触可能对应不同图像或数值。如果训练中没有覆盖这种变化，模型可能把器件差异误认为物体变化。

【研究】ReSkin 将可替换的接触界面与电子感应部分分开，并研究跨制作样本与时间变化的响应适应。它说明“可更换、可长期使用”需要同时考虑结构和学习方法。ReSkin

【研究】DIGIT 论文把制造过程拆到反射涂层、弹性体成型与固化、再粘接到透明窗口等步骤，并讨论厚度与耐用性的取舍。DIGIT 论文，第三节

【推导】这些细节为什么值得读？气泡可能影响局部形变或成像，厚度差可能改变同样载荷的响应，粘接与固定方式则可能改变边界条件。制造一致性不好时，模型看到的“新情况”有一部分来自器件，而不是物体。因此，自动检测、批次标定和可追踪的材料版本，也属于可靠数据系统的一部分。

把成本拆开也会得到不同判断：便宜的摄像头不等于便宜的传感器；还要加上表面制作、装配、检测、标定、维修和更换。若一次表面更换需要很长停机与重标定时间，采购价低也可能难以大规模部署。反过来，可替换结构和稳定批次可以减少每次重新适配的工作。

自测 7｜换了一层新的触觉皮肤，为什么可能还需要重新检查模型？

回答：因为传感器的输入分布可能已经改变。

为什么：新表面的厚度、硬度或安装状态有差异时，同样的力不一定产生同样的读数。机械上能装回去，不代表模型看到的信号保持不变。

如何验证：用已知载荷和重复接触先检查响应，再评估目标任务；根据差异决定是否重新标定、调整映射或补充数据。

2.4 采集悖论：记录触觉，也可能改变触觉

【视频】节目讨论了厚重采集设备可能削弱操作者触感、改变示范动作的问题。节目署名稿

【推导】原本人能轻松拿起纸杯，戴上较厚装置后，接触面积、摩擦和手指活动范围都可能变化。记录到的是“佩戴装置之后的操作”，不能不加区分地当作自然人手经验。

此外，人手和机器人夹爪还存在第二层差异：指尖形状、材料、自由度和执行方式不同。即使把人的触觉完整记下来，也要回答它怎样对应目标机器人的动作与感知。

还有一个容易被“测点总数”掩盖的问题：关键接触区里究竟有多少可区分的信息？一副覆盖整只手的手套，即使总测点很多，操作小螺钉时真正接触的那一小块区域也可能只覆盖很少的采样点。全手覆盖回答“哪里大致接触”，指尖密集感知回答“局部接触怎样变化”，二者不能只比总数。

【推导】因此，三条采集路径各有取舍：

路径	为什么有吸引力	主要困难
人佩戴设备自然操作	人本来就会大量复杂技能	设备改变触感；动作、身体和传感器都需要迁移
遥操作真实机器人	直接记录目标身体的动作与接触	操作速度、示教质量、设备维护和采集成本
仿真生成多模态轨迹	可重复接触，便于改变参数与扩大覆盖	接触与成像模型的偏差，需要真实数据约束

没有一条路径能凭空同时得到规模、自然性和目标身体一致性。合理做法往往是让不同数据承担不同任务：广泛经验提供动作先验，真实触觉补足接触规律，目标场景示范校正实际任务差异。

一条可用于动作学习的记录，最好能说明：

数据内容	要回答的问题
时间与同步关系	图像、触觉、动作和状态是否对应同一事件？
传感器与标定版本	信号来自哪种器件，采用什么单位和映射？
身体状态与坐标	哪根手指在哪里接触，力的方向相对于什么坐标系？
动作与反馈	发出了什么命令，实际运动与接触怎样变化？
任务与结果	拿稳、滑落、夹坏还是重新抓取，按什么标准判断？

【推导】时间对齐尤其重要。假设触觉比图像晚记录100毫秒，而夹爪在这段时间已经移动，训练时就可能把“动作后的接触变化”错配给“动作前的场景”。模型可能学到错误的因果线索。这个时间差只是教学例子，不是某个项目的测量。

自测 8｜为什么“采集更多小时”不一定解决数据问题？

回答：新增数据可能重复已有状态，也可能重复记录同一种系统误差。

为什么：持续记录没有接触的画面、同一位置的稳定按压，和覆盖滑移、偏抓、释放等变化，提供的信息不同。同步错误也不会因为数据变多就自动消失。

应怎样衡量：除了小时数，还看有效接触事件、物体与材料覆盖、操作类型、失败和恢复，以及标定与同步质量。

2.5 编码器学到表示，策略还要学会使用它

【推导】原始触觉可以是图像、力向量或一段时间序列。编码器把这些输入转换为更适合下游使用的表示。例如，把连续变化压缩成包含接触、滑动或形变线索的特征。

“表示里包含滑动线索”，与“机器人知道怎样应对滑动”，仍是两个层次。前者关注能否提取信息；后者还取决于任务、动作能力、响应时机和训练目标。

【研究】Sparsh 用自监督方法学习视觉触觉表示，再通过力估计、滑移检测等下游任务检验效果。这类研究支持未逐一标注的数据也能用于学习表示，但不意味着所有任务不需要监督，更不意味着编码器本身就是完整机器人策略。Sparsh

【推导】自监督可以利用数据自身构造学习信号，例如让模型恢复或匹配某些信息。它减少对人工标签的依赖，但仍需要选择数据、训练目标和评测方法。模型可能学到与任务相关的特征，也可能记住背景照明或器件特征，必须通过测试分辨。

模型之争：先学“触觉语言”，还是在任务中一起学？

【视频】Eric 更强调独立触觉编码与预训练，于弢强调触觉需要视觉提供空间关系。这里的分歧，落在表示怎样形成和怎样接入操作，而不是触觉是否有用。采访讨论

【推导】独立编码的理由是：先让一个模块学会稳定表达局部几何、形变与变化规律，再把它接到不同任务上。好处是可以单独验证和复用；难点是表示可能保留了很多图像细节，却漏掉下游动作最需要的信息。

联合学习的理由是：触觉往往只看到局部，同样一个接触图案，需要结合手指姿态、物体位置和任务才能决定动作。例如“沿传感面向左滑动”不直接等于“机械臂应向世界坐标左侧移动”，还涉及接触面朝向和身体运动。联合训练可以围绕任务保留有用线索；代价是需要足够同步数据，且容易与特定设备和任务绑定。

比较的问题	独立表示预训练优先	联合任务训练优先
首先优化什么	接触信息是否稳定、可迁移	输入是否帮助生成有效动作
可以怎样检查	力估计、滑移、几何等下游探针	完整任务与闭环动作效果
典型风险	表示指标好，却不利于控制	任务有效，却依赖某只器件或某个场景
怎样接续	接入策略后再微调或校准	保留独立感知评测，检查学到了什么

这两条路径可以组合：先预训练触觉编码器，再与视觉和动作共同适配。Sparsh 的冻结编码器加下游学习提供了表示复用的实例；后面 T-Rex 关心的则是这种信息怎样参与快速动作修正。两者回答不同层的问题。

为什么直接加入触觉可能变差？可检验的原因包括不同步、量纲或归一化不当、时序信息不足、数据太少，以及模型过度依赖容易记忆但不稳定的信号。它们是分析假设，不能未经消融就声称某一种原因已经被证实。

自测 9｜如果触觉编码器能判断“正在滑动”，任务就一定能成功吗？

回答：不一定，还要看发现得是否及时，以及执行系统有没有有效的应对动作。

为什么：正确分类到达时，杯子可能已经滑出可恢复范围；或者策略虽然发现滑动，却输出了会压坏杯子的动作。

证据层次：先验证感知，再验证闭环控制，最后验证完整任务。某一层的准确率不能替代下一层的效果。

2.6 高频修正与语义力控，分别解决什么问题？

【推导】拿纸杯时，任务目标可以在较长一段时间里保持不变，但接触状态可能在短时间内发生变化。每次触觉更新都重新执行完整视觉语言推理，可能消耗过多时间；完全不让触觉影响任务决策，又可能丢掉重要信息。

更合适的问题是：哪些信息需要快速处理，哪些信息需要结合全局任务理解，两者怎样交换结果？

T-Rex：保留任务上下文，用新触觉继续修正动作

【研究】T-Rex 采用不同更新节奏的专家模块，并利用缓存，让触觉通路更频繁地细化动作。三个专家的分工是：latent expert 学习未来视觉表示；action expert 生成中间动作；tactile expert 在新触觉条件下继续细化。前者不是专门输出文字计划的语言规划器。T-Rex，第四节

把一次处理展开，才能看清它与“多拼接几个力读数”的差异：

环节	方法中的设计	解决的具体问题
形成上下文	处理视觉、语言与状态，并保留可复用的内部信息	不必每次触觉更新都重算整个视觉语言通路
生成中间动作	较慢动作专家完成前段 flow-matching 采样	保留整体任务与运动方向
编码近期接触	结合16帧力/力矩历史的编码、当前力向量与形变图	同时表达变化趋势、即时数值与局部空间信息
快速细化	触觉专家继续后段采样，异步更新动作	让新接触信息影响尚未执行的运动

【推导】同样一个当前力读数，可以来自“正在持续加压”，也可以来自“刚从高峰回落”。单帧输入难以区分这两种过程；时间历史提供趋势，当前读数又避免只剩压缩后的概括。于是时序编码和较快修正承担不同职责，不能只保留其中一个就说已经实现同样机制。

论文给出更具体的节奏：长度为16的动作块内，在偏移0、4、8、12处触发触觉通路，重用较慢通路的上下文。T-Rex，4.2节与附录B这是动作块内的更新设计，不等于端到端延迟测量，也不是底层电机控制频率。对纸杯例子而言，可以理解为整体搬运意图暂时不变，但新的接触状态可以更频繁地影响接下来的动作。模型不是两套彼此独立的“大脑”，而是通过共享条件与连续的采样过程连接。

训练也分阶段：继承人类视频与动作先验，再用100小时同步机器人触觉数据做中训练，最后针对下游任务后训练。中训练通过操作原语与物体的组合覆盖接触变化，避免只重复少数完整任务。T-Rex，第三节与4.3节

【推导】这可以理解为“先获得广泛操作先验，再学习这个身体的接触规律，最后校准到具体任务”。因此，100小时描述的是其中一段训练投入，不能当成模型从零获得全部能力的成本。

Tabero：把“轻一点”转成有反馈的目标力

【研究】Tabero 的动作接口包含位姿、夹爪开度与目标力，由固定的底层混合控制器执行；对物体的施力与夹持力分别处理，实际力反馈用于修正相应运动。Tabero，3.4—3.5节

【推导】用纸杯举例，“轻拿”需要经过三次转换。首先，任务语义影响希望怎样接触；其次，模型把这个要求变成位置与力的目标；最后，控制器比较目标与实际反馈，调整运动或开度。仅把夹爪再闭合1毫米，并不能固定实际施力，因为杯壁刚度、接触位置和当前开度都可能不同。

所以，“理解轻柔”与“实际轻柔”之间还隔着可执行接口和控制闭环。语言模型不直接保证牛顿数准确，固定控制器也不自动理解哪些物体容易损坏；两者必须通过训练得到的目标和可测反馈连接。

Tabero 的语义泛化实验还测试了未见过的力度副词，观察到有意义的力响应，同时也出现成功率下降。Tabero，4.5节这使问题更具体：模型是否理解程度变化、是否把它落实为适当接触，以及是否仍能完成任务，需要一起判断。

自测 10｜T-Rex 与 Tabero 是不是两条只能选一条的路线？

回答：它们关注的关键问题不同，没有必要仅凭名称作二选一。

解释：T-Rex重点解决新触觉怎样及时参与动作修正；Tabero重点把语言条件下的力度要求接到力—位置控制接口。一个强调反应过程，一个强调交互目标及其执行，两者都需要反馈。

边界：从原理上可以设想把目标力与快速触觉修正结合，但这不是两篇论文已经联合验证的系统。真要组合，还需要处理动作接口、坐标系、频率与训练目标。

要解决的层次	核心问题	纸杯任务中的例子
任务与语义	希望达到什么结果，允许怎样的交互？	把纸杯完整放入托盘，避免明显挤压
动作生成	接下来怎样运动？	接近、夹持、抬起、移动与释放
接触反馈	执行中的局部变化需要怎样处理？	发现滑移或异常形变后及时修正
结果检查	是否真正完成，下一步做什么？	确认杯子放稳，决定继续或重新操作

【判断】“单独学习触觉表示”与“在策略中融合视觉触觉”也未必互斥。可以先学编码器，再联合适配策略；也可以为一个固定任务联合训练。选择取决于数据、迁移目标和运行要求，不能仅凭“模块化”或“端到端”选出普遍赢家。

自测 11｜高频触觉，是不是意味着机器人必须以同样频率运行大模型？

回答：不必。采样、编码、策略更新和底层控制可以采用不同节奏。

为什么：系统可以把近期触觉压缩成时序特征，或让较小的模块在已有任务上下文下快速修正。关键是及时使用对当前动作有意义的信息。

边界：较高更新频率不自动证明低端到端延迟。还要测传输、排队、计算以及执行器实际响应。

推理练习｜同样正确的反馈，为什么可能来不及？

【推导】假设物体以近似恒定速度 $v$ 滑动，从测到变化到修正生效的延迟为 $\tau$ ，这段时间内额外滑动距离约为：

\Delta x \approx v\tau

若假设速度为每秒20毫米、延迟为100毫秒，就会多滑约2毫米。是否还能恢复取决于接触与几何条件。这个算例说明需要关注整条响应路径，不是为任何设备给出合格阈值。

2.7 仿真补充的是哪种经验？

【研究】TacSL 针对视触觉的接触、形变与成像建立快速仿真，并研究策略迁移。其软接触近似允许用刚体之间的穿透状态近似弹性表面的变形，避免每一步都做完整精细材料求解。TacSL

【推导】可以把仿真拆成两层：先计算物体与接触表面如何相互作用，再生成传感器会看到的信号。第一层的摩擦和刚度不对，第二层即使图像逼真，也可能教给策略错误规律；第一层合理但成像不同，也可能让模型到了真机认不出同一种接触。

【研究】Tabero 复用已有操作轨迹，在包含触觉模型的仿真环境中重新生成多模态记录。这是一条补充数据的路径，并不是从原视频中直接恢复当时未记录的真实接触力。Tabero 项目

【推导】仿真中的随机化，可以让策略不只适应一个固定摩擦或照明条件。但变化范围仍需要依据。它能帮助覆盖已考虑的差异，不能保证覆盖遗漏的物理机制，例如真实磨损或复杂材料响应。

自测 12｜把旧轨迹放进仿真补出触觉，得到的是原操作的真实触觉吗？

回答：得到的是在所设定模型与参数下生成的触觉记录。

为什么：同一条外观相似的轨迹，在不同摩擦、接触刚度或控制器下，可以产生不同的接触力。原记录里没有的信息，仿真需要用假设补上。

怎样利用：用它扩大训练覆盖、检验机制，并通过真实接触记录校准和验证。合成数据可以有价值，但来源与假设要保留。

三、怎样证明触觉带来了价值

3.1 先把视频里的强结论放回证据范围

Claim：值得关注的说法	Evidence：目前可检查什么	可以支持什么	不能直接推出什么
触觉是机器人的最后一块拼图	具体接触任务与系统实验	触觉可能补足某些重要信息	加上触觉就获得通用智能
直接加入触觉反而变差	T-Rex 中特定 π₀.₅ 基线实现的比较	某种融合和训练设置未能有效利用信号	所有触觉融合都会下降
触觉用更少数据就能泛化	嘉宾对数据规模的判断与有限研究	值得检验的数据效率假设	已证明普遍成立的十倍数据优势
仿真可以支持真机迁移	TacSL 的指定插入任务评测	给定条件下的迁移可行性	任意材料、传感器和任务都能迁移
更高分辨率带来更强触觉	标定、分辨率及下游实验	具体测量能力得到改善	整体操作能力同比提高

【视频】节目中的“十万小时”等数据规模判断，来自采访讨论。署名稿【判断】要把它提升为 Scaling Law，需要在可比较条件下改变规模、观察学习曲线，并检查预测是否成立。小时、图像、接触事件和轨迹是不同统计单位，不能直接互换。

这个判断背后有一个值得研究的积极假设：【推导】触觉可能直接提供视觉需要间接猜测的接触状态，因而减少某些歧义；而重复的接触原语，也可能在不同完整任务中复用。例如抓、转、按、滑的局部规律，未必每次都要随整条任务从头学起。这些因素可能提高有效数据利用率，但还不能推导一个普适的“节省十倍”。

检验它时，应固定目标能力和已有预训练，把触觉数据逐级增加，观察新物体、新任务与新器件上的变化。还要记录每小时包含多少不同接触事件。非接触片段也不能一概删除：接近过程、接触发生的时刻和释放前后的上下文，是理解后续反馈所需的信息。

已有触觉数据与表示研究也说明，“可用数据不足”需要限定到目标能力、质量和覆盖，不能理解成整个领域从未拥有任何数据。Sparsh

自测 13｜为什么不能拿一百小时研究结果，反驳十万小时的行业判断？

回答：先要确认两者是否在谈同一目标与训练范围。

为什么：某项工作可能继承大规模预训练，再使用较少触觉数据适配有限任务；另一个说法可能面向更广泛的基础能力。目标、已有知识和评测范围都不同。

合理比较：把预训练、触觉训练、目标任务数据分别列出，再比较相同任务和成本条件下的效果。单独比较两个小时数不能建立结论。

3.2 T-Rex：加触觉变差的实验究竟说明什么？

【研究】原始 T-Rex 主表比较12项任务，每项任务16次试验，随机化物体初始位置与旋转。其 π₀.₅ + tactile 基线把十根手指单时刻的力/力矩向量拼接到状态输入，并进行微调。下面保留作者汇总数值，但特别注明：多阶段任务按部分完成进度给分，不能把这些数值直接视为完整任务一次通过率。T-Rex，第5.1节、表1与附录E、F

方法	作者报告的平均指标（百分制口径，含部分完成计分）
π₀.₅	17
π₀.₅ + tactile	6
EgoScale	35
T-Rex	65

【推导】17到6说明这一具体输入和训练设置表现更差，不能据此断言触觉信息本身有害。65也不能只归因于“多了触觉”：数据、时序编码、训练流程与架构都可能参与结果。

【研究】论文另在六个代表任务上做消融，完整方案、去掉异步机制、去掉触觉的平均指标分别为65、60、42。这个实验集合与十二任务主表不同，应该分别阅读，不能拼成一条统一性能曲线。

把消融与第二部分连起来看，才知道该学什么：去掉触觉，检查接触信息有没有贡献；去掉异步机制，检查及时更新是否有贡献；简单拼接基线，则提示“拥有信息”与“合适地编码、训练和使用信息”有区别。完整系统更好，不代表每个模块都已被分别证明必要；仍要查看实际被控制的变量。

【判断】学习这类论文时，真正有用的问题是：基线是否获得相近的适配机会，哪些变化被单独控制，评测是否覆盖目标场景，得分又允许怎样的部分完成。只有这些条件清楚，才能把实验转换为自己的设计依据。

自测 14｜含部分完成的65分，和65%的完整成功，有什么区别？

回答：前者可以由多次任务的部分进度累积而来，后者要求相应比例的任务从头到尾满足成功条件。

为什么：例如“拿起—移动—放稳”分阶段给分时，即使最后放置经常失败，前两步也可能贡献较高分数。这对诊断学习进度有用，却不能直接代表交付完成率。

应该怎样读：保留作者指标口径，并另看完整成功、每阶段失败和恢复情况。不要因为表格使用 success rate 一词，就跳过具体评分规则。

3.3 轻柔、快速、成功，应该一起衡量

【研究】Tabero 把任务完成与交互力指标一起评估，并展示了过低力度可能导致滑落的情况。其主要量化结论来自所构建的基准，不能把项目页中的真机演示视为全部量化结果均已完成真机验证。Tabero 论文、项目示例

【推导】“轻柔”不应只等于平均力越小越好。一个策略可以几乎不施力，却根本拿不起纸杯；另一策略平均力较低，但瞬间峰值很高，仍可能造成损伤。应把结果与过程一起看。

维度	纸杯任务中的检查方法	单看它可能遗漏什么
完成质量	是否拿起并放稳，杯壁是否满足验收要求	中间是否多次失败或依赖人工
接触过程	峰值载荷、受力变化、异常接触持续时间	同样的力作用在不同位置，后果可能不同
效率	完整任务耗时、重试次数	为提高成功率而无限放慢
自主程度	人工复位、介入次数与处理时间	演示者在镜头之外提供的帮助
稳定性	不同杯型、器件和连续工作后的表现	单次表现好但长期漂移

推理练习｜哪套方案更好？

【推导】假设方案甲完成90次/100次，平均用时较短，但有5个杯子被夹坏；方案乙完成85次/100次，没有损坏，却需要更多人工复位。还不能仅凭其中一个数字下结论。先明确“完成”是否已经包含不损坏，再统计合格产出、人工时间与成本。否则，两张成功率表甚至可能没有相同分母。

自测 15｜平均接触力下降70%，能否直接说明产品更好？

回答：还要确认任务完成、损伤、峰值载荷和时间是否满足要求。

为什么：更小的平均力可能来自更少接触，也可能伴随滑落或动作没有完成；低平均值也可能掩盖短暂高峰。

有效结论：在相同验收和试验条件下，合格产出保持或提升，同时不必要的接触载荷与损伤减少，才更接近实际收益。

3.4 怎样设计一个能区分原因的验证？

【推导：未执行的实验方案】先固定纸杯、夹爪、相机、任务与验收规则，然后比较三种信息配置：视觉与本体状态；加入简单触觉反馈；加入学习得到的触觉策略。记录各自的训练和适配成本，不把更大的模型或更多数据带来的收益全部算给传感器。

一个容易忽略的控制是接触表面本身。新传感器的软垫可能改变摩擦和贴合程度，即使不用它的信号，抓取也会变好。若想判断信息的价值，应在相同硬件表面下比较使用与不使用触觉输入；若要判断产品总体价值，再比较整套方案。

测试变化可以按顺序增加：先换初始姿态，再换杯型和载荷，然后检查光照、接触表面状态以及不同器件。先逐项变化便于定位原因，再组合变化接近真实现场。

测试集也要避免把同一段接触轨迹的相邻帧随机分到训练和测试中。如果目标是跨杯型或跨传感器泛化，应把相应对象或器件整体留出。否则可能只测到模型对熟悉信号的记忆。

自测 16｜装上传感器后成功率提高，为什么还不能证明触觉模型有效？

回答：改进可能来自软垫、摩擦、夹爪几何、控制参数或训练投入的变化。

为什么：安装传感器往往同时改变身体和信息，比较前后结果时，这些因素混在一起。

怎样区分：保留相同物理结构，只改变是否使用触觉信息，并记录其他条件；再根据实际目标做整体系统比较。两类实验回答不同问题。

3.5 仿真迁移与量产一致性，都要面对“换一个条件”

【研究】TacSL 报告的82.7%来自指定真机插销任务：81次试验中成功67次，改变了孔位及初始状态，未额外做真机策略微调。研究仍有传感器标定与模型近似，因此这里的 zero-shot 不等于没有任何真机准备。TacSL，第VI-C节及附录B

【推导】这个结果回答的是：在作者的任务、设备和准备条件下，仿真策略可以迁移到现实。换成软纸杯、另一种传感器或不同接触机制，需要新的证据。

量产也有类似问题。一只传感器上学到的映射，换到另一只后是否成立？工作前后、表面更换前后是否成立？算法与制造之间的关系，正体现在这些变化中。

【视频】走访还呈现了两种生产工作的并行：试产线验证新工艺并承接定制，标准品生产追求稳定重复；传感器仍需适配数采设备、灵巧手的协议与接口。节目中的量产讨论【推导】这解释了为什么“造得出同一只指尖”和“能交给不同客户使用”是两个阶段。工艺一致性解决测量重复性，接口与装配适配解决能否进入目标系统，两者都会影响交付速度。

【判断】比“能造多少只”更有信息量的检查包括：多个器件在同样载荷下的差异；加载与卸载是否存在迟滞；长时间使用后零点与灵敏度的变化；更换表面的标定时间；以及这些变化对任务质量的实际影响。

自测 17｜模型能跨物体泛化，为什么还要测试跨传感器？

回答：因为物体变化与测量系统变化是不同的分布变化。

为什么：模型可能习惯了某一只器件的响应，即使能处理很多物体，更换器件后仍可能误判。输入里的差异既可能来自物体，也可能来自传感器本身。

怎样验证：留出未参与训练的器件，记录标定与适配成本，再测试相同任务。不要把跨物体成绩直接当作量产一致性的证明。

3.6 把触觉放回整个具身智能系统

【判断】这期视频最值得带走的思路，是把触觉放到一条完整链路里：任务提出接触要求，身体产生交互，传感器记录变化，模型提取信息，控制系统及时行动，结果再接受验收。

从产品角度，要先知道主要失败是否发生在接触阶段。如果瓶颈是识别目标或机械臂够不到位置，触觉未必是最先投入的部分。如果瓶颈是滑落、卡住、损伤或依赖人工微调，那么接触反馈更值得验证。

从研究角度，要区分三个目标：测量更准确、表示更有用、策略完成任务更好。它们有关联，但需要各自的实验，不能用一个最高分替代全部证据。

从商业化角度，要把传感器、计算、标定、更换、停机与人工处理纳入成本。更昂贵的传感器可能通过减少损伤和介入获得价值；更便宜的方案也可能已经满足任务。答案来自具体场景的合格产出，而不是技术路线的名称。

可以进一步按接触困难选择应用，而不是笼统列出所有行业：

先区分节目中的两类例子：【视频】电池装配是受访方展示并介绍的应用，滴管精密取液则是提出的后续方向。节目现场与应用讨论前者说明已有具体场景探索，但公开材料不足以独立验证客户产能、合格率和长期维护；后者不能写成已达到的精度成绩。下面的表格进一步解释这些场景为什么可能需要接触反馈。

场景类型	接触反馈可能改善什么	需要实际验证什么
小零件插入与装配	对准后的卡滞、接触方向、就位状态	插装质量、损伤、周期时间与恢复能力
软线与柔性物操作	拉动中的张力、形变和滑动	材料变化后是否仍稳定，是否过度拉扯
脆弱物品搬运	稳定抓持与不过度挤压之间的调整	损伤率、滑落率、换品种的适配成本
人机接触任务	接触建立、载荷变化与局部异常	完整系统的响应与具体使用条件下的可靠性

这些是应用推导，不是已经商业化的结论。触觉发展值得关注，是因为器件、可复用表示、合成数据与反馈策略开始能被放到同一条实验链里讨论；距离成熟交付有多远，则要靠跨器件、跨物体和持续运行的证据回答。

综合练习｜团队提出“加上高分辨率触觉，再训一个大模型，就能解决精细操作”，你会怎样推进？

先定义问题：选一个边界清楚的任务，写出完成与损伤标准，确认失败主要发生在接触阶段。

再验证测量：检查传感器是否覆盖关键接触区域、信号是否可重复、是否与图像和动作同步。高像素数不能代替这些检查。

然后比较方案：在相同接触表面下，比较不用触觉、使用简单反馈和使用学习策略的效果，记录数据、计算与适配成本。

最后扩大条件：增加新物体、器件差异和连续运行，观察质量、效率、介入与维护。结果可以支持继续投资，也可能说明需要先改夹爪、采集或控制。

合理结论：触觉为精细操作提供了重要信息来源；具体方案能否解决问题，要由整条反馈链的实验来证明。

3.7 继续学习：带着一个问题读原始材料

想继续解决的问题	阅读材料	阅读重点
视频的讨论范围是什么？	原视频、硅谷101署名稿	区分嘉宾预期、现场演示与研究结论
摄像头怎样测接触形状与滑动？	GelSight 几何与滑移、DIGIT	几何、位移、力估计之间的转换与标定
换一层皮肤之后怎样保持能力？	ReSkin	可替换结构、跨样本差异和响应适应
自监督触觉学到了什么？	Sparsh	表示预训练与下游任务的区别
快慢不同的动作通路怎样连接？	T-Rex 原论文	第四节机制、第五节实验、附录E基线与F评分
怎样让“轻一点”进入控制？	Tabero	力与位置接口、底层反馈、成功与轻柔的权衡
仿真如何迁移到真机？	TacSL	接触近似、标定、随机化和81次插入试验的边界

结合前两篇，可以把知识接起来：Dyna 学习讲义讨论能力如何学习与部署，机器人开源生态讨论能力怎样被他人复用，而触觉补充了操作中的关键一环：接触发生以后，机器人怎样获得信息，并据此改变行动。