开辟新径！北大团队研究“AI 的物理学”

大模型的每一步，都在预测下一个词。这些局部的“下一步”连起来，究竟由什么决定走向？一种直观的看法是，模型学到的是大量规则与策略，其行为是这些规则的叠加，难以从整体上把握。

近日，北京大学物理学院Physics of AI团队给出了一个物理学家式的回答：大模型的生成受一个隐藏的全局势函数控制。每个答案都对应一个势能，模型更倾向于从势能高的答案走向势能低的答案。于是，可以借用物理学的思路：在千万个“下一步”之上，不必追踪每一步，只要看懂这片势能地形，就能预判它的走向。该研究以《大语言模型智能体中的细致平衡》（“Detailed balance in large language model-driven agents”）为题发表在PRX Intelligence。

今天的大模型被嵌入各式各样的智能体，读取当前运行状态，通过生成和工具调用达到新状态，再循环往复。在科学发现，程序设计等领域都取得了惊人的表现。智能体每一轮保留的信息，一个候选单词、一条数学表达式，就是系统的一个状态。一轮轮迭代下来，便构成一个状态空间。这项工作的核心，正是如何用物理学的方法测量大模型的状态空间。

为了测量真实的状态空间，团队设计了一系列实验，一个代表性例子是基于科研智能体IdeaSearchFitter的实验：它调用大模型在数千个数学表达式间反复迭代，寻找最能拟合数据的公式。

实验表明智能体既没有在状态空间上随机游走，也没有一路冲向最优解，而是表现得像热平衡的粒子：根据不同状态的势能决定下一次迭代的输出。

这种方法让大模型的状态空间变成可以测量的全局组织结构，于是只要看懂了这片势能景观，就能预判大模型智能体的走向。研究团队预期这将为研究“AI 的物理学”（physics of AI）开辟新途径。

相关链接：https://doi.org/10.1103/kwx6-clqd