
作者丨邓哲敏
编辑丨齐铖湧
此时此刻,美国奥斯汀,机器人学习领域的顶会 CoRL 2026 正在如火如荼地举行。清华大学交叉信息研究院助理教授、星海图 CTO 赵行,在这届大会主会场上登台,发表了 Early Career Keynote 演讲(青年成就奖)。
与动辄万人规模的 AI 大会不同,CoRL 是泛具身领域极其严肃专注的顶会,台下坐着的几乎全是这个星球上最懂机器人学习的学者。
Early Career Keynote 须同行提名、不得自荐,专门授予博士毕业十年内、已在机器人学习领域留下实质成果的年轻研究者,被视为该领域对新星研究者最高规格的认可之一,也是每年 CoRL 为主会场定调的重头戏。
今年全球仅有三位学者获此殊荣,而赵行是其中唯一的中国面孔。
站在台上的赵行,一方面串联过往的学术历程,讲述了自己从学术到产业的思考,另一方面,面对近期 GPT-6 Astra 接入机器人引发的行业焦虑,用一套极其严密的“时钟理论”,戳破了当下具身行业里不计时间成本制造出的基准测试幻觉,给了具身行业一个耳目一新的思考角度。
AI 科技评论(雷峰网)在现场全程记录了这场演讲,并结合赵行的学术研究路径,给大家带来这位中国顶尖年轻研究者的观点分享:

01
时间是决定人形机器人
量产的关键一环
今天我想谈“机器人的时间”:机器人智能应当如何在不同的时间尺度上组织起来。
我从 Waymo 的轮式自动驾驶起步,七年前发表了第一篇 CoRL 论文;然后转向有腿的机器人,花几年教四足和人形机器人奔跑、跳跃、征服复杂地形;现在做带手臂的机器人。归根结底,我们希望机器人替人类做真正的体力工作。
昨天我抵达奥斯汀,街上到处是 Waymo 和 Cybercab。对从自动驾驶起步的人来说,这感觉很好——驾驶已进入量产。人形机器人也能做到吗?今天我分享答案的一部分,它与时间有关。
最近 GPT-6 Astra 发布,几天内人们就把它接入自己的机器人,发现直接能用。NVIDIA 研究者在 RoboLab-120 仿真上做了细致研究:Astra 任务成功率 66%,π0.5 只有 28%。在另一个基准 RoboDojo 上结果类似:Astra 22 分,π0.5 仅 7 分。这很惊人,我相信领域里很多人还没准备好。

但有个问题:这些基准不测时间。Astra 用的是直接策略,直接控制机器人。仔细看,每次调用基础模型要 18 秒,机器人 97% 的时间在等模型思考。但现实中,机器人等不了模型思考这么久。
前沿模型非常好,我们该怎么用?为了弄清楚这事,我在家庭厨房仿真器 RoboCasa 里做了受控实验:5 个机器人从未见过的测试厨房、5 项任务,每项限 50 秒。
我试了五种控制方式:一是编程策略,让前沿模型理解任务后写代码,部署时程序直接跑,不再调模型;二是编程加询问,代码运行时失败就向模型求助,平均每回合只调一次;三是编排策略,前沿模型调度不同技能,每回合约调 4 次;四是直接策略;五是智能体策略,每步可控机器人、可调用工具计算,更费 token。
如果不限制思考时间,这些方法表现都不错:除编程策略 45% 外,其余成功率都超 60%。但加上真实时钟就完全不同了:直接策略和智能体策略成功率分别跌到 15% 和 20%。
这告诉我们,慢模型没问题,只要它与 System 1 结合,比如编排策略用小神经网络技能处理高频控制。
正如赵行所说,自动驾驶已然量产,而人形机器人似乎还在另一个时区。那么,自动驾驶有什么经验可以迁移?也许需要铺垫一段赵行的背景,大家会更明白他所希望表达的。
早在 2015 年的 MIT Media Lab,赵行就参与开发了世界上首个自动驾驶课程 Duckietown 的实践项目,也是在那时,他主动申请去做机器人课的助教,跟着韩国学者 Sangbae Kim 捣鼓 MIT Cheetah 猎豹机器狗。在与 AI 科技评论此前的对话中,赵行提到一个细节,那时候机器狗极度脆弱,上个飞机要走货运,去一次展会光维修和运输就要烧掉 3 万美元。
这段经历让他比任何人都清楚:实验室里的 demo 和产业级的产品之间,隔着一道名为“鲁棒性”的深渊。因此,当他在演讲中指出大模型直控的成功率会在真实时钟下暴跌时,这绝非纸上谈兵,而是他的真实经验所谈。

02
时钟定义层级
层与层的界限该画在哪里?老派答案按功能划分:感知、规划、控制。我主张另一种答案:时钟定义层级,在时钟变化处画线。这里讲 System 0/1/2,指的不是思维层面的快慢,而是时间尺度上的层级。

判断一件事属于哪层,要分两步。先问这一层必须对什么做出反应,这决定时钟要多快;再由时钟决定层级。System 2 要利用过往经验理解当下,时钟以秒到分钟计;System 1 要以交互发生的频率响应机器人手与物的相对运动,几十赫兹;System 0 要跟踪接触与力,所以必须几百赫兹。
我在自动驾驶时遇到过同样棘手的问题。我们把 VLM 装进车里,发现它理解场景能力惊人,能看懂学校区域、减速等孩子过马路,但它无法即时响应驾驶任务。于是我们把慢 VLM 和快驾驶栈装进同一辆车,这套系统如今已大规模跑在量产车上。我从自动驾驶得到的经验是:让快的层开车,让慢的层思考,各走各的轨道。
2023 年我们的四足机器人从视觉中学跑酷,随后做到全尺寸人形,今年实现全身跑酷——手脚并用攀爬、与环境交互。自己读深度、毫秒级反应,整个系统就是一个 System 0。跑酷给我上了第二课:反射必须住在快的层,且这一层要独立完成从感知到动作的全部事项。
但现实更复杂,一个任务往往需要多层配合。试想几个场景:工业装配线,固定重复,只需 System 0;物流分拣,任务固定但每个包裹不同,需要很强的 System 1;餐厅服务,要交谈、下单、端盘子,三样都要一点;做家务,任务定义复杂、跨度大,需要很强的 System 2,但速度可慢,System 1 和 0 稍弱即可。
这套分层系统还有两个关键问题要解决:每层如何快到跟得上自己的时钟?层与层之间传递什么?
这段分享中,赵行并没有否认大模型应用于具身智能的可能性,相反,他认可前沿模型的能力,试图通过解决时间延迟来更好地组织各类模型。
“让快的层开车,让慢的层思考”,这套具身思路并非仅仅停留在学术领域。
2019 年,赵行从 MIT 博士毕业,加入 Waymo,亲历了自动驾驶从实验室走向规模化量产的过程。2020 年下半年他回国加入清华叉院,从四足跑酷一路做到带臂操作,把视觉感知与全身控制推向极限运动的难度级别。
据AI 科技评论了解,赵行曾和与小一届的师弟王轶伦多次聊起自动驾驶的痛点。两人基于共同的技术嗅觉,自下而上地促成了后来与理想汽车的合作。当时全球打通数据闭环的车企屈指可数,而理想的工程基建为 DriveVLM 提供了土壤。
对此,赵行曾剖析过其中的区别:L2+ 级别或许能靠小模型的端到端肌肉记忆应付,但 L4 级别必须依赖大模型解决长尾问题。于是,DriveVLM-Dual 快慢双系统应运而生,大模型负责慢思考,传统规控负责快响应,如今这套方案已经实打实地落地超过 40 万辆量产车。
这也是为什么当他在 CoRL 讲台上抛出时钟定义层级时,台下的工业界同行会非常认同。

03
让每一层快速运转的三项工作
先谈第一个问题:让每一层都足够快。
今天的 System 1 普遍太慢,跟不上几十赫兹,原因有三个,且都源于模型的出身。其一,若你的动作模型基于视频生成模型,你会知道视频生成其实很慢,生成 5 秒高清视频要 2 到 3 分钟,无法上机。其二,若你的 VLA 基于 VLM,则文本推理动辄 5 秒,对控制不可承受。其三,几乎所有工作——VLA、扩散策略、动作模型——都先解码整条动作块再执行,白白等待。我们有三项工作分别应对。
第一,Fast-WAM。世界动作模型往往在行动前先生成未来视频。Fast-WAM 让视频模型与动作模型共享权重,训练时只做一点注意力改动——训练时想象,测试时可以跳过,提速 4 倍以上。今年我们有了更强版本,参数量从 5B 扩到 16B,采用混合 Transformer 架构,优化后在 RTX 5090D 上每个动作只要 60 毫秒。

第二,G0.5。这是我们星海图自研的 VLA 模型,以视觉和文本为输入,把任务、边界框、动作轨迹写进同一条离散 token 流。在同一组模型权重上,我们可以简单地开启或关闭推理。结果令人惊讶,90% 的任务上,有无推理成功率完全相同;跳过推理,速度快一倍;推理只在长程任务上有用。

第三,ActionCodec2。动作分块带来的成本,是必须等整条动作轨迹生成完毕才能开始执行。这段动画来自我们的工作,画面中机械臂在追踪一个不断移动的方块。左边是分块 tokenizer,策略必须先解码完整的一块动作,机器人才能移动,因此它只能在块与块的边界处看到方块的位置。想更及时,就得解码全新的一块动作。右边是流式动作 tokenizer,每个 token 都是一小段运动,机器人一收到就立刻执行,所以它在每一步都能感知到方块的位置。注意看结尾,分块那侧的手臂跟丢了,流式那侧的手臂抓住了。这就是我们所说的流式动作组织方式,用它,我们就可以构建一个流式 VLA。

这一段,赵行介绍了很多团队成员的工作,他作为一名年轻老师,能在学术界提出理论,又能在产业界和团队一起交出 Fast-WAM、G0.5 这样硬核工作,在我们看来,离不开他此前在 Waymo 时期受到的极限锤炼。2019 年他加入了刚成立研究院的 Waymo。那里人才济济,bar 极高,坐在他左边的可能是 PointNet 的作者祁瑞中,管理级别最高的周寅做过 VOXnet。
在那个扁平且鼓励跨界合作的体系里,他遇到了比自己早两个月入职的高继扬。
高继扬既能交付产品又能做研究,“一个人干俩人的活”,两人跨三个组合做出了引领行业的 VectorNet。2023 年上半年,当机器人的创业时机如同 2016 年的自动驾驶一样成熟时,两人再次一拍即合成立了星海图。
赵行曾公开回忆过那个瞬间:“你找我创业,我肯定和你一起,方向我们可以再找,但和你创业我现在就可以答应。”正是这种极度互信的搭档关系,让那些关于“流式动作”和“提速 4 倍”的构想,迅速变成了具身智能公司的核心壁垒。
接下来,最关键的是,各个层间该传递什么信息。

04
层间传什么:
向下较为丰富,向上几乎空白
接下来谈谈第二部分,层间传递什么。
三条时钟两条边界,双向通行。向下:System 2 传给 1 语言、目标、程序、动作;System 1 传给 0 运动。向上:System 0 反馈接触、力、跟踪状态;System 1 反馈进度、置信度与状态。但今天多数工作只做向下通路,向上通路严重缺失。
向下我们已有一些工作。WB-WAM 是为人形机器人生成全身动作的世界动作模型。作为 System 1,它输出全身和手的姿态,以及未来动作轨迹。更进一步有 OMG,一个动作多种输入。System 2 发送文字、音乐、参考姿态给 System 1,System 1 再转成可执行轨迹,由 System 0 跟踪。尽管 System 2 和 1 之间有丰富的交互,但 System 1 到 0 之间,向下传的仍只有运动。
只有运动是不够的。机器人只知道跟着轨迹,不知道目的,而且交互的本质是力,比如擦桌子,几乎只有力、没有运动。所以,现在人们已经开始超越运动,从关节目标,到身体运动,到接触,再到力。
超越运动的第一步是保持接触,无论是最早的那批重定向工作,还是我们发表在本次 CoRL 上的工作,都在尽力保住机器人与物体之间的接触点和几何关系。但说实话,这类方法只保住了接触几何,它们对力还一无所知。
最近我注意到 UC Berkeley 的一项工作 Ctrl-F。它给跟踪器参考动作和每只手的力指令;顶层再配一个小规划器,根据它实时看到的情况来调力。下面是一个机器人推 20 公斤重箱子的例子,左边,SONIC 只跟踪运动,箱子纹丝不动;右边,他们的模型能推动箱子。注意是谁在决定力,是那个贴近物体的小规划器,也就是 System 1,而不是远在顶层的慢模型。

我们再来看看失败案例。底层系统大多时候自己行动,却不知道自己已经失败;高层系统不够快,没注意到任务已失败。这些失败都落在层与层之间,而今天,跨边界的反馈是缺失的,我认为我们迫切需要这套反馈机制。

05
分层或单模型,都需考虑时钟
最后,我认为未来有两条路。
第一条是分层路线:每层有自己的时钟,上层不去精确指定接触和力,它向下发意图,下层向上发反馈。难点在于,下层必须能自己感知到失败、自己纠正,并主动上报。
第二条是单模型路线:统一架构共享权重,每个时钟配各自的专家,推理时以不同时钟运行。好处是架构统一、共享上下文、KV cache 可复用。难点是如何联合训练:System 1、2 靠行为克隆,System 0 靠仿真强化学习,两套训练机制如何放进同一个环境里一起训?
原文:https://www.leiphone.com/category/private/zLDQiemmN9KxgnVW.html



