
作者丨幸丽娟
编辑丨岑 峰
这个语言模型没有为机器人做任何专项训练,就在 42 项操作任务上拿下平均成功率第一,反超 40 个公开机器人策略。
世界模型这张牌桌,被搅了局。“语言模型是不是连世界模型的活都能干了?”这个问题被重新摆上桌面。
一个多月后,西湖大学宣布成立西湖世界模型研究中心,校长施一公亲自站台。
这所以创新机制闻名的研究型大学,在“世界模型还有没有必要”的质疑声中,把世界模型立成了校级交叉科研平台。推动这件事的人,叫于开丞,西湖大学工学院助理教授、自主智能实验室(AutoLab)负责人。
在他看来,通用语言模型再强,物理世界也“等不起”。语言模型根本无法直接替代世界模型。

他曾在瑞士洛桑联邦理工大学(EPFL)跟几何视觉大牛 Pascal Fua 做了五年研究,博二那年就“抓出”了 NAS 行业级核心问题并拿下高通创新基金,当年欧洲获奖者仅四位。
回国后他加入阿里巴巴达摩院,以 BEVFusion 等系列工作在自动驾驶圈成名。两年后,他因自动驾驶领域的一个现实困境,靠着研究直觉转向世界模型。
当时,Sora 还有一年才登场,世界模型这个词鲜有人能看懂,以探索前沿著称的达摩院都接不住。
于是,他把这个题目拿回学术界来做,在西湖大学的科研土壤上,一做就是三年。
2024年,在大语言模型最锣鼓喧天的那一年,他在 ECCV 的挑战赛上用世界模型 pk 掉语言模型,拿下“全球冠军”,先一步论证了世界模型路线的可行性。
两年后,锣鼓喧天的主角,终于变成了世界模型。各路团队拿着技术概念,忙着融资。
而已在这个方向耕耘三年的于开丞,没有去追概念的热闹。在他眼里,世界模型就是一个像Transformer 一样的通用技术。他要做的,是在国内赛道拉满“一圆桌的人”,去跟欧美 AI 力量打擂台。
他要做的这件事,是有底气的。通用世界模型 Awomo-0.5,40 亿参数,在具身智能、物理世界理解等六个国际主流评测榜单上同时登顶,代码和权重全部开源。大多数创业公司还交不了卷,这份“以小博大”的答卷先交了出来。
开源链接:https://awomo-westlakedi.github.io/Awomo-0.5-page/
为什么三年前世界模型赛道荒无人烟的时候就已经先出发?为什么他认定世界模型 100% 值得做?于开丞在与 AI 科技评论的这次谈话中,给出了他最本质的回答。
以下是对话实录,AI科技评论进行了不改变原意的删改。

01
起点:自动驾驶的钱,花不动了
▎AI 科技评论:你 2023 年就开始做世界模型了。但那个时候 Sora 还没出现,"世界模型"几乎是一个无人提及的词。你是基于怎样的契机,把研究转到这个方向上的?
于开丞:契机来自自动驾驶的一个现实困境:上限变低,成本很高。
每碰到一个新场景,就得重新收集一遍数据、再走一遍流程。这件事太不优雅,也就是太贵。既然这么贵,就必须找一条新的技术路径。我们是从这个痛点出发,开始注意世界模型的。
当时 diffusion 模型在图片生成上已经跑通,我们自然而然地想到:既然图片上能做生成,物理空间为什么不能?于是我们就从生成符合 3D 关系的场景图像,推进到生成符合 3D 关系的场景视频。
这里3D 是关键:2D 生成只要“看着像”,但物理世界要的是“真的像”,要满足严丝合缝的投影关系和物理关系。
沿着这个逻辑往后推进,我们发现还有很多值得研究的工作。这就是我们从自动驾驶切入世界模型的起点。
▎AI 科技评论:你在达摩院就已经开始切入这个方向了?
于开丞: 对,在达摩院已经有了雏形。但后来达摩院,或者说整个阿里集团,觉得有点太烧钱,要收缩,就不再做一些特别探索性的研究了。
后来我想想也很有道理:这种非常探索性的研究,可能还是要到高校去做。
▎AI 科技评论:所以你是因为要做世界模型,才离开产业回归学术界,那为什么去了西湖大学?
于开丞: 是机缘巧合,也是方向使然。当时我有两个选择,最后选择了西湖大学,两个原因:一是这边的氛围和对创新的认可非常吸引我,加入以后,学校也确实给了我们很大的支持;二是施一公校长的精气神,也非常打动我。
在创新的机构做创新的事情,是非常幸运的。比如现在学校允许我以产、学双栖的状态,去成立西湖大学世界模型中心,其实在学校历史上都是有突破性意义的。对我而言是莫大的荣幸,我也身负很重的责任感,去把这件事情做得更好。
▎AI 科技评论:在那个时期选择这样一个充满未知的方向,会有犹豫吗?
于开丞:当时世界模型还没人做,我们属于勇闯无人区了。但我们的判断很简单:没人做的时候先做,并且能把技术做到领先,就可能一直领先下去。
现在这个研究方向被大家认识、被社会认可,我们当然非常开心,但在我们的视角里,这就是一步一个脚印走出来的,看着没那么玄幻。
▎AI 科技评论:你曾公开提及,2024 年在 ECCV 上参加了一个比赛,拿了“世界模型的世界冠军”。当时是比赛本身与世界模型相关,还是你用了世界模型参赛?
于开丞: 是我们用了世界模型参赛。这个挑战赛是华为举办的,主题是“极端场景生成”,用生成模型去合成驾驶场景下没见过的事故场景。
我们用世界模型的技术方案拿到了冠军,其他参赛方案基本没有世界模型。所以在当下那个时间节点上,我们算是抢占了先机。
▎AI 科技评论:“世界模型”突然就变得这么火了,火起来的这个时间点,比您预想的提前了还是延后了?
于开丞: 肯定比我想的要更靠前一些。我们2023 到 2025 年是在默默做研究,2026 年我们觉得这个事情可以去扩大、“敲锣打鼓”地做的时候,大家就已经一拥而上了。
这其实也代表了大家对这个领域的期待,我也特别理解,因为语言模型之后,最大的一个机会就在世界模型赛道上。

02
对的事,才值得做:
世界模型 100%有价值
▎AI 科技评论:2023 到 2026 年之间,你有没有遇到过不太清楚前方路的时候?或者有想转研究方向的冲动?
于开丞: 语言模型很火的时候,很多人会想:语言模型这么火,是不是该转去做语言模型?
诱惑很大,但我们还是坚持住了本心。背后的逻辑在于:
一是擅长与不擅长的问题。语言模型不是我们最擅长的,CV 才是我们能够游刃有余的技术领域。
二是价值归属的问题。语言模型肯定非常有价值,但那个价值很多人都在跟,参与感肯定不会太强了;但世界模型,我坚信未来100%有价值,并且这个赛道需要人来做,我也相信自己能做好。
再往深一层看,还有一个生态位问题。不管当时还是现在,初创公司在世界模型这个赛道里,是有机会冲出来的;而大语言模型要烧更多算力、需要更多的资金去推动,这更多是大厂干的事。
但最底层的思路还是:对的事情,才值得做。如果大语言模型是唯一对的事,那无论起步多晚都必须做。但我认为,大语言模型并不唯一,世界模型同样也是对的事。
▎AI 科技评论:怎么评估世界模型一定是对的事?
于开丞:首先,语言模型无法走出屏幕,但世界模型可以。
语言模型再好,也仍需人来操作。将来我们要上火星,要去高山、深海和各种危险场景,许多地方人不擅长去、也不适合去,总归需要一个东西替人去。否则就只能以人力替代,而这并不人道。
其次,从技术路径看,世界模型与语言模型并不共通,需要更多的科研力量投入进来。
语言模型从文字构建出发,基础是语言文字。语言文字是抽象的,是一个已经被压缩过的世界。它同世界模型所面对的连续物理世界,是完全不同的两回事,技术上也并不容易共通。看起来都叫模型,实则千差万别。
而且,世界模型本身还有多条路线:3D 是一个方向,影视是一个方向,各条路线之间的打通并不容易。倘若容易,世界上就只会有一家公司了。这也说明,世界模型这个研究方向充满了可探索的空间和可能性。
所以从底层逻辑上讲,世界模型 100% 有价值。那为什么不做?那为什么不在别人还没看到这个方向的时候,我们就早早地去做?

03
“世界模型”这个词,
要从目的定义,别乱加定语
▎AI 科技评论:这个赛道现在定义都还不统一,如果要你这位资深的世界模型学者给它一个定义,你会怎么定义?
于开丞: 首先,从本质上来看,世界模型是一项像 Transformer 一样的通用技术。目前大家已经有的一个共识是:它能够预测下一个状态。
其次,应该从目的出发来进行定义,而不是先堆定语。如果脱离场景去谈技术本身,是没有意义的。Source:https://www.leiphone.com/category/academic/6GxO2SjZl8UPTGhH.html

