导语:空间专项模型反而不如通用模型?浙大庄越挺团队提出空间智能新基准
空间专项模型反而不如通用模型?浙大庄越挺团队提出空间智能新基准 作者丨张岂萍
编辑丨幸丽娟
空间智能正在成为 AI 竞赛的主战场。视觉语言模型(Vision-Language Model,VLM)已经能回答不少空间问题:一个物体在另一个物体的哪一侧,两者距离多远,换一个视角后物体在哪里。但空间智能不止于理解静态场景。在真实交互环境中,机器人还需要面对动作带来的场景变化:物体被移动、旋转或拿走后,视觉语言模型需要判断新的空间关系。如果不给变化后的画面,只告诉视觉语言模型“把这个物体移走”或者“把整个场景转一个方向”,它还能判断新的空间关系吗?浙江大学最新提出的 SpaceCast-Bench,专门评估这类预测性空间推理(predictive spatial reasoning):视觉语言模型需要从变换前的观测中理解当前场景状态,并在给定一个空间变换或干预后,对从未被直接展示的结果状态进行空间关系推理。他们发现,在 21 个视觉语言模型的评测中,最高准确率竟然只有 58.0%,距离人类 87.2% 的准确率仍有明显差距。更反直觉的是,6 个空间专项模型的总体准确率只有 25.7% 至 29.1%,接近 25.9% 的随机水平,且低于所有闭源模型和通用开放权重模型。 这项工作由李弘幸、苏进越共同一作,沈永亮担任通讯作者,李鼎铭、张文祺、鲁伟明、肖俊、庄越挺等参与。这支团队在空间智能领域的分量不轻:浙江大学求是特聘教授庄越挺早在三十年前就发表过空间推理相关研究《基于空间推理的设计方法及其应用》,在空间推理还停留在理论探讨的年代,他就先一步把它推向了真实的设计应用。通讯作者沈永亮是庄越挺的学生,也是浙江大学“百人计划”研究员。他是 LLM Agent 领域开创性工作 HuggingGPT 的一作,如今深耕 Agentic AI 与 Physical AI,空间推理也是他重点关注的研究方向。肖俊同为浙江大学求是特聘教授,曾获吴文俊人工智能科学技术奖自然科学奖一等奖、ACM Multimedia 唯一最佳论文奖,长期深耕三维识别与检索,如今也将跨媒体计算与计算机视觉方面的积累延伸到空间推理研究中。浙江大学研究员张文祺曾是“华为天才少年”,主要研究具身模型与空间智能方向,做的正是让模型在三维环境中推理与行动。浙江大学副教授鲁伟明则从大数据管理与知识挖掘的角度,为基准的数据构建提供支撑。围绕这项工作的研究动机、实验中出现的反常结果,以及团队对空间智能瓶颈与应对路径的进一步思考和判断,AI 科技评论采访到了论文一作李弘幸,他是浙江大学的博士生。论文地址:https://arxiv.org/abs/2610.12402这个新的基准为什么要测、怎么测、又测出了什么?先从现有基准没有测到的地方说起。现有空间评测已经覆盖单图、多视角和视频,也开始测试方向、距离、3D 尺度估计以及跨视角位置关系,但不少任务仍主要测试视觉语言模型对当前空间关系的识别,即根据输入中已经呈现的视觉信息判断物体之间的关系。一本书下面有一个信封,书上还放着一个杯子。机器人如果只回答“杯子在哪”“信封在哪”,判断的是当前关系;但如果它要把信封取出来,就必须预测移动书以后场景关系会如何变化,并据此决定下一步操作。这里的关键区别在于,视觉语言模型需要根据一次空间干预,预测场景关系随后如何变化。SpaceCast-Bench 将整个过程拆成 observe–transform–infer:先从一个或多个视角获得当前场景信息,再应用一次指定的空间变化,最后推断变化后的关系,结果状态本身不会直接以新图片提供给模型。为了区分视觉语言模型在静态空间感知和变化后推理中的表现差异,SpaceCast-Bench 设置了三个能力层级。L1 Static Perception 不改变场景,只测试当前的方向、距离、可见性、遮挡和附着关系。这一层提供基础参照:如果原始空间关系本身就判断错误,后面的预测失败就不能全部归因于状态更新。L2 Local Prediction 加入局部变化,包括移动、旋转或移除物体,并考虑附着关系带来的联动变化。例如,把床向北移动 1.5 米之后,再询问两个物体之间新的方向关系。L3 Global Prediction 对整个场景布局进行整体旋转,并要求模型在不同参考系下重新判断空间关系。三个层级分别对应静态空间感知、局部状态变化预测和整体场景变化预测三类任务。最终,SpaceCast-Bench 包含 182 个真实室内场景、3862 道问题和 16 类任务,并测试三种参考系(camera-centric、object-centric、world-centric,即以相机、物体和世界为中心的参考系)下的方向判断。21 个被测视觉语言模型中,最高准确率为 58.0%,比人类 87.2% 的准确率低 29.2 个百分点。6 个空间专项模型的总体得分只有 25.7% 至 29.1%,接近 25.9% 的随机基线,整体低于闭源模型和通用开放权重模型。先看不同能力层级上的表现。整体来看,三类模型在 L1 静态感知、L2 局部预测和 L3 全局预测上的表现并不相同。闭源和通用开放权重模型在 L2 上普遍较 L1 下降,但其中表现较强的模型到了 L3 又明显回升。比如 Gemini 3.5 Flash 从 L2 的 45.3% 升至 L3 的 69.4%,Qwen3.7-Plus 也从 43.2% 升至 66.6%。空间专项模型则呈现出不同的表现。它们在 L3 上的整体表现更弱。SenseNova-SI-1.2 从 L2 的 30.5% 降至 L3 的 16.1%,Cambrian-S-7B 从 28.8% 降至 17.1%。这说明现有空间专项训练尚未有效提升模型的全局空间表示及其更新能力,尤其是在需要推断整体场景变化的任务中,仍然存在明显不足。SpaceCast-Bench 测的不只是“A 在 B 的哪一边”,还包括 attachment(附着关系)。简单说,如果一本书上放着一个杯子,移动书时杯子也会跟着移动,模型需要理解这种物体之间的联动关系,才能正确预测变化后的场景。对闭源和通用开放权重模型来说,附着关系反而是相对容易的一类任务。Qwen3.7-Plus、GPT-5.6-Luna 和 Qwen3.5-27B 的准确率分别达到 80.4%、74.2% 和 68.0%。但空间专项模型在这一项上的表现明显偏低。SenseNova-SI-1.2 只有 13.4%,SpatialLadder 为 9.3%。附着关系并不是各类模型普遍的难点,但空间专项模型在这一项上明显偏低,说明附着关系在空间专项训练中覆盖还不够。论文还测试了 Chain-of-Thought(思维链)提示,也就是让模型在给出答案前先写出推理步骤。结果显示,增加推理步骤并没有带来稳定提升:不同模型、不同能力层级的变化方向并不一致,有些任务提高,有些反而下降。仅增加推理步骤并不能稳定改善预测性空间推理,模型还需要更有效地整合和利用空间信息。评价视觉语言模型的空间推理能力时,也需要进一步区分它在哪类任务上表现更强:是当前关系识别、跨视角整合、3D 表示,还是变化后的空间关系推断。