(本文阅读时间:12 分钟)
人用抹布擦白板时,很少会去想手该压多深。手臂会自然贴着板面,稍微用点力,遇到阻力时也会顺势退让一点。但对今天由视觉-语言-动作(VLA)模型驱动的机器人来说,这件事并不简单。这类模型通常只输出“往哪里移动”的运动指令,却不考虑接触时产生的外力该如何应对。所以,哪怕预测位置只偏了一点,机器人也可能碰不到白板,或者用力过猛。
为了解决这个问题,微软亚洲研究院与首尔国立大学的研究员们提出了 CompVLA。它既能够预测机器人怎么运动,还可以预测机器人在每个时刻应该保持多大的刚度。这样,机器人在自由空间中能动得又稳又准,接触物体时又能适度退让,把力控制在合适的范围内。相关论文已被机器人学习领域顶级会议CoRL 2026 收录。
视频1:CompVLA演示
相关信息已整理至文末,欢迎点击了解更多技术详情。
只会“走位”的机器人为何频频失手?
擦拭白板、推动板子绕支点旋转、按压杯子分配器等接触密集型操作任务,不仅要求机器人控制自身运动,还要求它调节自身对外部作用力的响应。而这正在成为VLA模型的下一个重要研究方向,一些研究工作已经开始将力和力矩纳入了模型的考量。
然而,大多数 VLA 模型仍然只输出纯运动学指令,再通过位置控制去执行。位置控制会让机器人始终跟踪指令给出的目标位姿,而不考虑接触过程中实际产生的作用力。因此,预测的接触几何位置即使只有微小的偏差,也可能导致任务失败:如果目标位置略高于接触表面,机器人就会失去接触;如果略低于接触表面,机器人又会施加过大的作用力。
视频2: 采用位置控制的 VLA 模型在执行板子绕支点旋转任务时失去接触。
视频3:采用位置控制的VLA 模型持续向接触表面施加压力,直至触发安全停止机制。
柔顺控制(compliance control)为解决这一问题提供了一条思路。它让机器人的末端执行器像一根弹簧一样工作:受到接触力时,末端执行器会按照与该作用力成比例的幅度偏离指令指定的目标位姿。这样,机器人既能维持接触,也能将作用力控制在一定范围内。
但刚度的取值是个两难的问题。如果始终采用较低的刚度,机器人就难以准确跟踪自由空间中的运动;如果始终采用较高的刚度,其行为又会接近传统的位置控制,仍可能失去接触或用力过猛。
机器人真正需要的是可变柔顺性,在自由空间中保持较高刚度,只在发生接触时表现出柔顺性。可如果每项任务都需要人工调整相应的刚度配置,那这种方法就很难被规模化应用。
CompVLA:从示范中学会可变柔顺
针对上述情况,研究员们把问题从“机器人应该移动到哪里?”重新定义为“机器人应该移动到哪里,又该保持多大的刚度?”CompVLA 能够从示范数据中学习可变柔顺性,根据 RGB 图像和语言指令,同时预测机器人的运动、随时间变化的刚度和虚拟位移。
由此,研究员们构建了一个统一的 VLA 模型。机器人在自由空间中运动时保持较高刚度,在需要接触时再按需调整柔顺性。在真实世界的接触密集型任务中,CompVLA 的表现优于 π₀,也优于引入额外力矩或力旋量输入的 VLA 基线模型。
给 VLA 模型加一位“柔顺专家”
CompVLA 在预测机器人运动的同时,还会预测相应的柔顺性参数。在每个时间步,策略模型都会输出一个动作块(action chunk),其中包含一组运动 token。每个 token 除了包括传统 VLA 模型预测的参考工具中心点(TCP)速度旋量和夹爪指令,还有两个柔顺性参数。
第一个参数是对角刚度,用于分别设定机器人在三个旋转轴和三个平移轴上的刚度,决定机器人在各个方向上受到外力时会产生多大程度的位移响应。
第二个参数是虚拟位移,它有两个作用。一是确定柔顺坐标系的方向,使机器人能够在一个方向上保持较高刚度,在另一个方向上表现出较高柔顺性。二是让目标位姿相对参考位姿产生偏移,使机器人按照预设的力与接触表面相互作用。
随后,几何阻抗控制器(geometric impedance controller)会将运动、刚度和虚拟位移结合起来执行。
为了预测这两个柔顺性参数,研究员们以 π₀模型为基础进行了扩展。π₀使用 PaliGemma 视觉-语言模型作为骨干网络,并通过分块因果注意力机制连接各专家模块。在 CompVLA 中,动作专家(action expert)模块会先预测参考 TCP 位姿和夹爪指令,其生成的运动轨迹随后作为条件输入传递给新增的柔顺专家(compliance expert),再由后者根据这段轨迹预测相应的刚度和虚拟位移。两个专家采用流匹配(flow matching)的方法进行联合训练,总训练损失为两者各自的流匹配损失之和(如图 1所示)。
图 1: CompVLA 与几何阻抗控制器的整体框架。CompVLA 输出随时间变化的对角刚度向量和虚拟位移向量,以实现方向柔顺控制和力调制
借助这套设计,机器人获得了传统位置控制所不具备的两项能力:
方向柔顺控制:机器人沿接触方向退让,同时在与接触方向正交的方向上保持较高刚度。
力调制:机器人沿接触方向偏移目标位姿,通过刚度与虚拟位移的共同作用,产生所需的接触力。
视频4:方向柔顺:机器人沿接触方向退让,同时在正交方向上保持较高刚度。
视频5:力调制:接触力由刚度和虚拟位移共同设定。
真机实测:擦得干净,推得稳当
研究员们在 Franka Research 3 机器人上对 CompVLA 进行了测试,评估了其在三项接触密集型任务(擦拭白板、推动板子绕支点旋转,按压杯子分配器)和一项常规任务(抓取与放置)中的表现。
实验中,力/力矩读数只作为训练标签使用,在模型评估阶段不再提供。参与对比的基线方法包括:目前应用较为广泛的 VLA 模型 π₀、引入额外力矩或力旋量模态的 ForceVLA 和 TA-VLA,以及基于模仿学习的策略模型 DP 和 ACT。
视频 6–9: CompVLA 在擦拭白板、推动板子绕支点旋转、按压杯子分配器和抓取与放置(顺序从上到下)任务中的表现。
在三项接触密集型任务中,CompVLA 的平均成功率最高,达到 67.1%,高于 ForceVLA 的 54.4% 和 π₀的 31.5%。其中,白板擦拭和支点旋转任务的成功率分别达到 92.9% 和 73.3%。
在杯子分配任务中,CompVLA 的成功率低于 ForceVLA 和 π₀。按任务阶段分析后,研究员们发现,这项任务的大多数失败发生在接触之前,因为机器人需要先定位分配器上尺寸较小的按钮。成功接触按钮后,CompVLA 按压按钮的可靠性高于其他基线模型。
在抓取与放置这一常规任务中,CompVLA 的成功率为 76.7%,与 π₀(80.0%)和 TA-VLA(83.3%)的表现接近,而ForceVLA 的成功率则降至 45.0%。可见,CompVLA在接触密集型任务中表现出较强的性能,同时也能在常规操作任务中保持稳定表现。
表 1:真实世界任务成功率(%),数值为平均值 ± 标准差。
为机器人操作提供更丰富的示范数据
除了CompVLA模型,研究员们还公开了训练 CompVLA 所用的示范数据集。该数据集采用具备力感知能力的主从式遥操作系统采集,每项任务包含107 至 115 个操作回合。每个操作回合都记录了三个视角的摄像头图像、关节位置和关节力矩,以及腕部力/力矩传感器读数。CompVLA 正是利用这些腕部力/力矩读数作为训练标签,来学习柔顺性的。
研究员们希望,这份数据集能为接触密集型机器人操作研究提供更丰富的示范资源。
视频 10: 接触密集型操作示范数据集中的操作回合。
CompVLA: AVariable Compliance Vision-Language-Action Model for Contact-rich Manipulation
论文链接:原文:http://weixin.sogou.com/weixin?type=2&query=%E5%BE%AE%E8%BD%AF%E7%A0%94%E7%A9%B6%E9%99%A2AI%E5%A4%B4%E6%9D%A1+%E2%80%9C%E5%88%9A%E2%80%9D%E2%80%9C%E6%9F%94%E2%80%9D%E5%B9%B6%E6%B5%8E%EF%BC%9ACompVLA%E8%AE%A9%E6%9C%BA%E5%99%A8%E4%BA%BA%E5%AD%A6%E4%BC%9A%E8%B0%83%E8%8A%82%E5%88%9A%E5%BA%A6
