Paper Morning 2026-07-09
2026-07-09
各位早上好,又到了Paper Morning时间。
今天想先从一组有意思的对比聊起。上周我参加了一个AI4S的研讨会,会上大家讨论得很热烈的一个问题是:为什么大语言模型的推理能力已经很强了,但在真正的科学发现任务上,我们还是觉得差那么一口气?有的老师说得挺直接——模型能写代码、能解方程,但它不懂物理。这话虽然有点绝对,但确实点出了一个关键痛点:科学推理需要的是什么?是把符号化的知识和空间化的结构能够统一起来的能力。这直接关系到今天第一篇论文想解决的问题。
这篇论文叫SciReasoner,来自一个想做“native structural reasoning”的团队。他们提出了一个多模态的科学基础模型,专门针对蛋白质这样的三维生物大分子结构做推理。大家知道,结构-性质关系是生物、化学、材料科学里的基础问题——一个分子的三维构型决定了它的功能、反应性和物理响应。但传统AI模型在处理这类问题时,往往是把结构信息压缩成一些统计特征,丢失了那些物理化学的约束信息,比如立体化学、成键模式、对称性、周期性秩序等等。SciReasoner的思路是保留这些domain-native的结构信息,同时让模型能够展示“它是怎么得出这个结论的”——哪些结构证据支持了预测。这篇工作把科学推理从单纯的预测任务,推向了可解释、可验证的层面。我个人的判断是,这代表了一个重要但还很早期的方向——真正的科学AI,需要的不是更大的模型,而是更懂“物理直觉”的模型。
说完结构推理,我们把目光转向另一个底层需求:长上下文建模。这个能力对科学计算有什么意义?大家可以想象一下,我们要处理一个超长的卫星气象数据序列,或者对一段极其复杂的蛋白质动力学轨迹做分析,模型的上下文窗口直接决定了我们能不能一次性把关键信息全部纳入。这篇论文提出了HiLS Attention,全称是Hierarchical Landmark Sparse Attention。它解决的核心痛点是:稀疏注意力机制虽然能降低计算成本,但现有方法在选择“关注哪些chunk”这件事上做得不够好,导致性能总是比全量注意力差一截。HiLS的创新在于,它把chunk选择变成了一个可学习的过程,让模型端到端地去学哪些块该被检索,同时用分层的方式先做快速筛选,再做精细的注意力计算。这个思路其实很符合我们做科学计算的人的直觉——先定位感兴趣的区域,再精细求解。某种程度上,这种层次化的策略和多重网格法在数值PDE里的思想是相通的。
接下来这篇就非常直接是我们的主场了——NOTES,Neural Operator-enabled Topology-informed Evolutionary Strategy。这名字很长,但做的事很清楚:它想把神经算子和进化策略结合起来,做PDE约束下的逆设计。大家知道,逆设计是科学里的一个核心难题——我们想要一个满足特定性能的材料或结构,但不知道参数怎么调。传统的进化策略比如CMA-ES很稳健,但它在高维空间里效率很低。NOTES的聪明之处在于,它用DeepONet作为代理模型,同时用拓扑感知的先验信息来压缩设计空间,这样就把一个高维的非凸优化问题,映射到一个紧凑的潜空间里去做全局搜索。这里有一个我很欣赏的设计理念:它不是单纯堆砌方法,而是把神经算子的表示学习能力和进化策略的全局搜索能力做了一个有机整合。对于我们做AI for Science的人来说,这种“取长补短”的思路往往比追求单一方法的极致更实用。
然后说两篇虽然不是直接针对PDE或算子,但很有意思的工作。一篇是关于视频预训练的LingBot-Video,它用MoE——稀疏专家混合的架构来做具身智能的视频生成。MoE这个架构最近在LLM里很火,因为它能在保持推理效率的同时大幅提升模型容量。把这套思路用到视频生成上,特别是为机器人控制服务的视频,背后的逻辑是:视频生成不仅要好看,还要有物理真实性,要高效。这让我想到,也许未来我们可以用类似的思路来生成高保真的物理仿真数据,用较小的计算开销获得足够准确的动力学轨迹。
最后一篇SenseNova-Vision提出了一个很宏大的愿景:把计算机视觉重新定义成统一的多模态生成任务。不管是检测、分割还是深度估计,全部用自然语言指令来触发,用文本和图像的生成空间来统一表示。这个思路其实和大语言模型的“统一一切”趋势是一致的。当我们把视觉任务也纳入到这个统一的生成框架里,会不会为科学视觉任务——比如显微图像分析、卫星遥感、医学影像——带来新的可能性?这是一个值得期待的方向。
好了,今天的分享到这里。回头来看这几篇论文,我有一个整体的感受:AI for Science正在经历一个范式转变的关口。我们不再满足于“用AI拟合数据”,而是在追求更本质的东西——让模型能够理解物理结构、能够做可解释的推理、能够在高维空间里高效搜索、能够在保持效率的同时扩展能力。这些努力虽然还在早期,但它们在一步步地把“AI辅助科学发现”从口号变成真正可触及的未来。咱们明天接着聊。