Paper Morning 2026-10-11
2026-10-11
各位早上好,周末的Paper Morning又和大家见面了。
今天想先从一个我们在AI4S里经常遇到的问题说起:当我们训练一个模型来预测物理系统时,本质上我们是在构建一个关于这个世界的“模型”,只是这个模型通常只服务于单一任务。那么跨任务、跨场景的泛化能力怎么来?这周有几篇论文从不同角度触及了这个问题,我觉得挺有意思。
第一篇是多智能体自我中心世界模型。之前的世界模型研究大多聚焦在单个智能体上,但这篇工作关注的是多个智能体在共享环境中的交互。他们提出ME-World框架,能够在第一人称视角下同时预测多个智能体的观测,并且保持动作一致性、环境一致性和交互引起的状态更新传播。
这篇工作的亮点在于它把“多个智能体在同一个物理世界中交互”这个问题本身,抽象成了一个可以联合建模的生成任务。但我更关心的是它和科学计算的联系:想象一下多物理场模拟中,不同物理量之间的耦合关系是不是也很像多个智能体的交互?温度场和速度场的相互影响,能否借鉴这种交叉视角的一致性建模思路?这篇工作目前更多是视觉和机器人场景,但它提出的跨智能体状态传播机制,对我们构建耦合的物理仿真模型或许有启发。
接下来这篇 MiMo-V2.6 非常直接地体现了 scaling law 在强化学习中的威力。他们通过扩展RL计算的三个维度——更大的批处理量、更复杂多样的环境、以及更长的上下文——在多模态模型上实现了显著的自我改进能力。
有意思的是他们在RL之前做了一件事:mid-training on a broad multimodal corpus。这相当于为后续的强化学习准备好了足够丰富的探索空间。这让我想到我们做PDE求解器或者神经算子的时候,是不是也经常忽视了“探索空间”的构建?很多时候我们直接在一个固定的数据集上调优,但如果先有一个大规模的预训练让模型具备足够的能力边界,再在特定任务上做RL微调,效果可能会截然不同。这篇工作某种程度上验证了foundation model思路在科学问题上的潜力——当然目前还是偏视觉和代码领域,但方法论是通用的。
第三篇 OuroWorld 关注的是把静态的3D场景变成可以无缝循环的动态cinemagraph。他们用视觉语言模型推断合理的动态,然后引导视频模型生成参考视频,再提升为多视角视频。
这个工作的技术细节很巧妙:用傅里叶级数变形场保证循环一致性,用锚定在参考视角的漂移场来吸收跨视角的不一致。但我更想说的是它背后的趋势:AI生成内容正在从“生成某一帧”走向“生成完整的时空连续体”。这对科学可视化意味着什么?过去我们做CFD可视化,往往是事后渲染;如果能用世界模型直接生成物理上合理的连续演化,那就不只是可视化,而是用生成模型做仿真了。当然这篇工作目前还只是视觉层面的动态生成,但它展示的“给定静态几何,推断合理时序演化”的能力,和我们用神经网络预测PDE解的本质是相通的。
第四篇 Memento 3 走了一条不太一样的路:他们让冻结的LLM agent通过外部记忆来持续学习显式的世界模型。Agent维护一个自然语言规则书作为持久化的语义记忆,记录关于环境动态的可修订假设,然后把这个规则书编译成可执行代码用于预测和规划。
这个思路最让我感兴趣的是“显式世界模型”这个提法。我们做物理仿真的时候,通常是让神经网络隐式地学习物理规律,但Memento 3选择把对物理规律的理解写成明确的规则,然后用编译器的方式让这些规则可执行。这其实是一种神经符号混合的思路:神经感知 + 符号推理。在科学发现中,这种范式很有前景——我们可以用LLM从数据中归纳出可能的物理规律,再用符号系统表达和验证,这些规则反过来又能指导数值模拟。不过目前这套系统还是在游戏和简单任务上验证,离真正的科学问题还有距离,但它打开了一个很有价值的方向:让AI不仅预测结果,还能“解释”自己在预测什么。
最后是一本新书《Foundations of Large Language Models》,作者Tong Xiao和Jingbo Zhu。这本书覆盖了预训练、生成模型、提示工程、对齐、推理和推理六个核心方向,目标读者是NLP相关专业的学生和从业者。
作为一本基础性读物,它系统性地整理了LLM的核心概念,但对我们在座各位来说,可能更值得关注的是它如何帮助我们理解这些基础能力能为科学计算做什么。LLM的推理和规划能力能否和物理模拟结合?大模型在科学文献理解、知识图谱构建上的潜力如何释放?这本书提供了一个很好的知识框架,但真正的机会在于我们怎么把语言模型的能力迁移到science的问题上去。
好,总结一下今天的观察。这五篇论文其实都在回答一个共同的问题:如何让AI对世界的理解从“单一任务”走向“可泛化的能力”。无论是多智能体世界模型的跨主体一致性、强化学习的大规模探索空间、生成模型对时空连续的把握、显式规则书的持续学习,还是LLM的基础能力建设,都在推动AI从“做一件事”变成“理解世界运行的规律”。而这种从任务特定到能力通用的转变,正是我们AI4S领域最需要借鉴的思路——从训练一个PDE求解器,到构建一个理解物理规律的“物理基座模型”,也许路径就在这些看似不直接相关的研究中。