上交大张伟楠教授：AI如何走出屏幕，真正改变物理世界？

物理智能的核心挑战：让 AI 在充满不确定性、行动后果难以撤销的真实世界中，形成感知、预测、行动与持续学习的完整闭环。

作者丨张驰

编辑丨马晓宁

大语言模型已经得到了长足的发展，但 AI 的许多能力仍然发生在屏幕之内：理解文字、生成内容、编写代码，以及调用数字工具。把这些能力带入工厂、实验室和城市设施，意味着智能系统必须进一步面对物体、空间、力与时间，在持续变化的环境中作出判断，并承担行动的实际后果。

AI 如何从处理数字信息走向可靠地参与物理过程，正是“物理智能”要回答的问题。

这一步跨越的难度，很难仅用模型参数或推理能力来衡量。机器人拿起一只杯子，既要识别位置和形状，也要判断接触、摩擦与受力；实验设备执行一次操作，既要理解任务，还要满足精度、时延和安全约束。

网页操作失误可以刷新，物理世界中的碰撞、损坏却未必能够撤销。感知是否及时、动作是否可控、失败后能否恢复，都会直接影响系统能否真正投入使用。

在今年 CNCC 首日面向博士生、青年学者的 Tutorial 专题论坛环节中，上海交通大学计算机学院教授、上海人工智能实验室物理智能中心负责人张伟楠发表了题为《物理智能及关键技术概述》的演讲。在他看来，基础模型、世界模型、强化学习与高吞吐仿真、虚实迁移，以及硬件成本的下降，正在共同推动物理智能从研究愿景走向可行实践。与此同时，真实交互数据昂贵、环境只能被局部观测、长时程预测误差累积等问题，仍然制约着能力的扩展。

围绕这些问题，张伟楠梳理了从硬件与系统、数据与仿真，到感知、世界模型、操作与运动控制，再到物理智能体和行业应用的七层技术栈。他强调，各层已有成果，真正困难的部分往往在于层与层的衔接，以及能否把感知、决策、执行和反馈连接成可靠的整体。模型训练完成之后，进入真实世界的持续学习同样重要。

这场演讲，为机器人、自动化、仿真和科学智能等方向，提供了一套相互连接的讨论框架。它也提出了一个更长远的问题：当AI 开始参与生产、实验乃至更大尺度的物理建设，我们应如何同步建立评测与安全机制，让能力增长转化为可靠的现实价值？

同时在CNCC 2026 Tutorial 会场，上海人工智能实验室物理智能团队发布了专著Physical AI: Concepts, Techniques, and Challenges，该专著系统梳理了物理智能的基本概念、关键技术与发展挑战，旨在为相关领域的研究与实践提供参考。专著预印本见https://arxiv.org/abs/2610.27045。

本届CNCC Tutorial 升级为 11 大主题板块、24 场内容，深度、广度和时长在学术会议中并不常见。现场多场Tutorial“站票告急”，更值得关注。

以下为雷峰网对演讲实录的精编。

从屏幕后走向物理世界

今天，我想讨论三个问题：物理智能是什么，它与具身智能有什么区别；它包含哪些技术层次，这些模块如何组织；以及我们应该怎样推进它的发展，长期目标是什么。

大家有没有注意到，我们今天使用的大语言模型、智能体和各种应用，绝大多数还在屏幕后面？数字智能已经非常繁荣，但它与物理环境的耦合仍然有限。

如果把“与物理世界的耦合程度”作为一条发展轴线，就可以看到这样一条路径：从数字AI 工具，到仿真环境中的智能体，再到真实环境中的单智能体、多智能体协作，继而走向基础设施级别的物理智能，最终形成广域、泛在、可获得的物理智能服务。

从这个维度看，数字 AI 即使在其他方面非常先进，仍然只是一个早期起点。沿着这个方向，我们还有非常广阔的空间需要探索，但物理世界也带来了三类本质困难。

第一，是不确定性下的后果性交互。网页操作错了可以刷新，游戏可以重置，但机器人撞到桌子、无人车发生事故，不能一键返回。因此，我们必须在尚不能完全确定环境状态时，提前判断行动可能带来的后果。

第二，是对演化中物理状态的感知。游戏智能体有可能通过引擎获得允许访问的全部信息，但物理世界的感知始终是局部的。人类的感官与仪器，也从未提供完整的世界。因此，建模要承认部分可观测性，也要为未来新的传感方式和输入输出留好接口。

第三，是受物理结构约束的学习与泛化。牛顿定律等规律之所以有价值，是因为它们刻画了世界的结构，帮助我们预测未见过的情形。对于模型，我们不一定要先把规律全部写成公式，也可以让它从观测与交互中学习，将物理结构编码到内部，实现分布之外的泛化，也就是 OOD 泛化。

为什么现在有条件推进这件事？我认为，有五个条件正在成熟。

首先是基础模型。过去，我和学生设计各种强化学习方法，希望提高智能体的泛化能力。现在我越来越认为，一个有效起点，是直接在较强的基础模型上开展强化学习。很多泛化能力可能来自基础模型已有的积累，而不只是算法中新增加的损失函数或元学习机制。

其次是世界模型，它让智能体能够在行动之前预演后果，减少盲目试错。

第三是强化学习与高吞吐仿真的发展，为多轮交互和策略优化提供了基础。

第四是虚实差距正在缩小，我们能够更好地融合大量仿真数据与少量、准确的真实数据。

第五是硬件和试错成本下降，让本体制造与实验迭代越来越可行。

物理智能的核心，是系统性的闭环能力

我们尝试这样定义物理智能：人工系统感知物理环境状态，维持任务相关的物理关系与动作后果表征，通过物理接口选择并执行干预，在物理、运行和计算约束下，利用反馈达成目标的能力。

这个定义的核心，是让人工系统有效地与物理环境交互：获得观测，理解状态，推演变化，选择动作，再根据环境反馈适配自身。

其中有几个关键含义。首先是物理接地，即感知与动作真正接入物理环境；其次是明确干预通道，知道系统能通过仪器功能、机器人动作或运行参数改变什么；再次是利用反馈判断干预效果，修正行为；最后是建立证据支持，将理解、预测、规划、执行和适应连接起来。在难以回退的环境中，这条完整链路对于可靠泛化尤其重要。

很多人会问：它与具身智能有什么区别？便于理解的说法，是物理智能的研究范围更广。更准确地说，具身智能侧重智能体及其身体，物理智能侧重整个系统能否形成感知、决策与物理后果之间的闭环。

比如，工厂的智能制造系统、无人矿山的感知与调度系统，都可以成为物理智能的载体。DeepMind 使用深度强化学习控制 TCV 托卡马克装置中的等离子体位形，也是面向科学研究的物理智能应用，却不是通常意义上的移动或操作机器人。

世界模型、物理仿真器同样属于这一技术体系，但本身不等同于具身智能体。部署于真实环境中的具身智能，是物理智能的重要实现形式；物理智能还可以覆盖基础设施和科学设施等场景。

它也与数字孪生、信息物理系统存在联系。数字孪生经常强调从真实到仿真，以及在仿真中的分析推演。比如，从照片恢复可漫游的三维环境，如果尚未反过来影响真实世界，就主要完成了闭环中的一个方向。信息物理系统强调可靠感知、及时通信和鲁棒控制；我们今天讨论物理智能，还特别强调基础模型带来的学习、泛化与适应能力。因此物理智能关注的不只是某一种技术或某一个智能体，而是人工系统能否将对物理环境的感知、对行动后果的预测以及实际干预和反馈结合起来，形成有效的闭环。不同技术可以在这一过程中发挥不同作用，而物理智能的关键，是让这些能力在具体任务和真实约束下协同起来，使系统不仅能够理解和预测物理世界，还能够据此采取行动，并根据实际结果持续调整。

应用范围也会随能力增长而扩展。我们不仅希望它为已有业务降本增效，还希望降低门槛、激活过去无法实现的需求，在制造、服务、城市运行和科学设施中催生新的应用。