大模型遇上科学发现：MOOSE-Star如何用搜索反馈闭环破解组合复杂度

几个月前，我让一个大模型去设计一种聚合反应的新型催化配体。模型给出的方案非常完整，有配体结构、有合成路径，甚至附了参考文献。可当我把它丢进分子模拟里跑了三天，发现至少有三处关键结构会导致过渡态能垒居高不下。这件事让我重新开始思考一个一直被行业回避的问题：大模型到底能不能直接做科学发现？我的结论是，如果不改变训练和使用方式，答案非常悲观；但如果把搜索、反馈和训练整合成一个闭环，情况会完全不同。这套闭环，我管它叫 MOOSE-Star，它要打破的核心壁垒，就是科学发现中最要命的组合复杂度壁垒。

这篇文章会讲三件事：为什么大模型直接做科学发现会撞墙；MOOSE-Star 这套直接训练范式是怎么设计的；以及如何用一个几小时就能跑完的最小复现来感受它的效果。适合正在用大模型做分子筛选、材料优化、实验设计的人，也适合想理解语言模型与强化学习如何结合的读者。我不会堆太多数学，但会把关键公式和代码留清楚，方便你直接照着改。

1. 大模型做科学发现，卡在哪一步？

1.1 科学发现的本质是一场组合爆炸

科学发现并不只是“想出一个漂亮假设”，而是要在大量可选方案中找出少数既符合已有约束、又可能被实验验证的候选。拿材料设计举例：一个分子可以用图表示，图中每个原子有几十种替换可能，每条化学键也有多种连接方式。哪怕只考虑一个包含 20 个重原子的小分子，可替换变体的数量也远超枚举能力。这是组合爆炸的典型形态，也是科学发现最底层的难度来源。

大模型在训练时看到的是从真实数据里采样出来的有限样本，它可以把已知分子语言表达得很规范，却没有能力逐项遍历从未出现在语料中的组合。我做过一个简单实验：让模型连续生成一百个候选分子，再计算两两之间的最大相似度，结果有超过七成的样本落在同一个骨架附近。这不是模型笨，而是概率生成天然偏好高概率区域，而科学发现恰恰需要系统覆盖低概率的长尾区域。

把这个问题说得更直白一点：语言模型的任务是预测一个合理的下一个 token，而科学发现的任务是搜索一条此前没人走过的路径。这两件事目标不同。你可以把模型当作一个很熟悉文献的助手，但它不是一个自带遍历引擎的搜索器。只要动作空间是组合式的，纯粹的概率生成就一定会遇到“输出越来越窄”的问题。你让模型生成一百个候选，它越生成越像早前的结果；你让它生成一千个，它甚至会出现大量重复结构。这不是提示词能解决的，而是概率分布的天然倾向。

1.2 提示词技巧救不了长尾空间

很多人会问：那我用思维链、给模型设定角色、提供少量示例，是不是就能让它做科学发现？我试过各种提示词策略，包括把评审标准一条条写进去、要求模型反思不同假设、让它列出优缺点。结果输出确实更规整，但把它们放到一个模拟环境里评测，收益非常有限。原因在于，提示词改变的是生成文本的语言路径，并没有提供任何关于“当前分支附近还有没有更好的区域”的全局信息。

可以这样理解：思维链是在语言空间中做局部推理，它让模型沿着更连贯的路径写下去，但局部连贯不等于全局有效。一个候选假设在文本上听起来自洽，在热力学上却可能完全站不住脚。模型没有实验数据做闭环，它只是在用自己的先验补全一份看起来像科学报告的文本。比如我让模型分别解释两种配体设计思路，它能列出三种优势、两种挑战，但当我追问“这两个思路中哪个更需要控制空间位阻”时，它没有办法判断，因为它没有真实实验的反馈信号。

还有个容易被忽略的问题：每个候选之间是彼此独立的。模型生成完一个分子，不会记得刚才生成了什么，也不会刻意远离已经探索过的区域。没有记忆、没有对未探索区域的最小覆盖率约束，提示词再精巧，也只是在同一个高概率区域反复打转。这就是我强调组合复杂度壁垒的原因：壁垒不在于单个推理步骤难，而在于空间太大且没有导航。提示词能提高模型在语言层面的流畅度，但给不了它一张地图，也治不了它对长尾空间的盲区。

1.3 从统计学习到可证伪假设之间存在鸿沟

更深一层，科学发现需要可证伪、可对抗反例的假设。但大模型学习到的只是训练文本中的共现统计规律。一个假设在论文里出现得多，模型会倾向于认为它正确且重要；而反例往往被埋在技术文档、失败的会议摘要或根本不发表的内容里。模型看到的世界，严重偏向“已经被证明过有发表价值”的幸存者。真实科研人员不一样，他们经历过自己的失败，也读过别人的失败，知道哪些路已经走死。大模型没有这种负样本来源。

直接拿文本预训练模型去做科学发现，就像是让一个只看过获奖感言的人去准备比赛，场面话能讲，真上场一定会踩到前人已经踩过的坑。所以要在模型之外引入搜索和反馈机制，用环境返回的奖惩信息来补充文本先验里缺失的那部分。这也是 MOOSE-Star 设计的根本出发点：不是让模型变成一个更聪明的猜测者，而是让它在一个闭环里学会用搜索反馈更新自己对空间的认知。

2. MOOSE-Star 的核心思路：搜索与训练不再是两件事

2.1 三个组件组成一条“探索回路”

MOOSE-Star 的核心思想可以压缩成一句话：让模型成为搜索系统的一部分，同时让搜索产生的结果反过来训练模型。它有三个组件。第一个是生成器，用一个语言模型作为局部策略，给定当前科学状态（当前分子结构、当前反应条件、当前待改写的表达式），输出若干下一步动作候选。第二个是树搜索模块，它维护多条探索路径，记录每个节点的访问频次和累计回报，并用置信上界类公式决定下一步重点展开哪条路径。第三个是价值估计器，它判断当前节点继续探索还有多大希望，输出一个相对的“搜索价值”。

这三个组件不是一个流水线，而是一个回路。语言模型提供局部直觉，树搜索提供全局记账，价值估计器提供方向判断。可以类比成一支探险队：语言模型负责看眼前岔路的直觉，树搜索负责画地图、记路线，价值估计器负责站在高处判断哪片区域还值得进。任何一支单独拉出来都做不成科学发现，但组合起来就能形成一个完整的搜索闭环。模型在这里不再是输出答案的终点，而是整个系统里的一个可训练部件。模型从搜索树上拿到的不是“你答对了”或“你答错了”的简单标签，而是丰富的中间状态、访问频次、回报分布，这些信息反哺到生成器，让模型下一次生成动作时更清楚哪些方向值得尝试。

按名字来说，Star 指的就是这种星形关系：一棵搜索树上的所有节点共享同一个策略模型。常规做法是每个节点独立跑一遍模型，信息互不流通；MOOSE-Star 则让模型像中心节点一样连接所有搜索分支，搜索树在探索时产生的结构化反馈，最终都汇入同一个模型权重。这样每一次新的搜索都不是从零开始，而是站在整个系统已经学习到知识的基础上继续前进。

2.2 直接训练范式与“先训练再推理”的差别

传统大模型工作流通常是预训练、微调、推理。推理时模型权重固定，如果这时外挂一个搜索算法，搜索产生的中间信息也传不回模型权重。结果是模型只会照着先验走路，搜索再强也很难弥补模型对空间的系统性盲区。MOOSE-Star 采用的方式我称之为直接训练范式：在搜索过程中同步更新模型参数。搜索结束时，系统会把高回报路径上的状态-动作对记为正样本，把明显走向死胡同的节点记为负样本，然后立刻用这些样本做策略更新。

这和早期围棋 AI 的思路是一脉相承的：不是让模型背诵棋谱，而是通过自我对弈产生动态棋谱。科学发现比围棋多了一个麻烦：没有清晰的胜负判定，也没有固定棋盘。所以 MOOSE-Star 用搜索树本身当裁判：一个节点被反复访问且子树持续带来高回报，说明模型的先验概率压对了地方；一个节点反复被尝试却产不出回报，模型就要降低同类动作的概率。训练目标写出来大概是：对于访问过的每个节点，最大化高回报动作的对数概率，同时加一个熵正则项让模型保留必要的随机性，避免策略塌缩。

这里的“高回报”不是环境唯一的最终输出，而是搜索树上经过价值估计器加权后的累计收益。直接训练范式的关键点在于，模型参数不是在推理之前就已经锁死，而是在搜索过程中持续被反馈校正。你可以把每一次搜索都当成一次微小的在线学习过程。真实科学项目里，实验反馈往往很慢，所以实践中我们通常不是每走一步就立刻更新，而是收集一批评分后的搜索轨迹后统一训练，这个稍后我会在复现方案里详细展开。

2.3 为什么树搜索能把指数级复杂度降下来

有了树搜索，组合复杂度为什么能被打破？我们做一个简单的规模估算。假设候选动作每步有 k 个选择，探索深度为 L，直接枚举需要 k^L 量级。如果搜索过程在每一步只保留最有希望的一小批节点，假设裁剪后平均保留 b 个分支，那么需要评估的节点数量就近似是 b*L 量级，前提是 b 明显小于 k。难点在于 b 怎么保证质检。MOOSE-Star 的做法是让语言模型生成候选动作。初期模型很发散，生成的候选质量参差不齐，b 只能取大一些；随着搜索反馈不断更新模型，模型会逐渐学会避免已验证过的死胡同，b 可以越来越小。

我在一个二维黑盒函数实验里对比过，随机搜索每轮平均要试十几个方向才能找到一次有效更新，而训练了二十轮后的 MOOSE-Star 平均只要两三个方向就能覆盖不同区域。这说明搜索复杂度是可以被动态降低的，不是只能靠穷举硬扛。当然，树搜索不会把复杂度直接变成线性，它把指数级工作量转移给了“如何低成本地裁剪分支”，而裁剪分支正是语言模型和价值估计器擅长的事。

这里有一个很微妙的点：语言模型的先验质量决定了搜索树初始阶段的裁剪能力。如果模型对领域一无所知，相当于 b 很大，树搜索会在前期疯狂扩展。好在科学发现中有大量已经发表的规律，哪怕这些规律有噪声，也能给模型提供一个大致的先验方向。随着搜索反馈进入训练，模型会逐渐把先验中“听起来合理但实际无效”的部分修正掉。所以 MOOSE-Star 不是用一个模型替代搜索，而是用搜索训练出一个更懂空间结构的模型，再用这个模型来降低后续搜索的复杂度。

3. 最小可复现版 MOOSE-Star：从搭环境到看效果

3.1 用二维黑盒函数模拟科学实验环境

为了不把文章停留在理论上，我给出一个半天内能跑起来的完整复现方案。任务设定成：存在一个黑盒函数 f(x, y)，我们只知道输入范围是 [-5, 5]^2，每次实验可以给 x 或 y 做一个微小扰动，目标是找到函数取值最大的区域。这等价于实验设计中的“主动搜索最优条件”问题，也保留了科学发现的两个核心特征：存在多个局部最优，且只有通过多次尝试才能发现更好的区域。

我用的是：f(x, y) = sin(x) * cos(y) + 0.1x - 0.05y^2。这个函数在中心附近有一个主峰，右侧有一个次峰，如果模型只会贪心地沿梯度上升，很容易停在次峰，拿不到全局最优。真实科学实验当然比这复杂，但它足以暴露“大模型直接采样”和“搜索+训练闭环”的本质差异。模型要做的不是一次性预测正确答案，而是决定下一步 x、y 如何变化，以及步长选大、中、小。每一步从环境拿到新的坐标和函数值，再决定下一步。整个过程没有预置的“正确答案”，只有不断尝试的反馈。

你可能会问，为什么不用现成的强化学习库？一个重要原因是科学发现的状态空间往往有很强的结构，比如分子图、反应路径，这些结构很难塞进普通的向量环境。用语言模型做生成器，天然可以利用它对科学文本的预训练知识。即使在这个二维函数环境里，语言模型也能轻松学会“增大 x 会让函数值变高”这样的抽象描述，而这在普通强化学习里通常需要大量状态编码工作。

3.2 模型、状态编码和动作设计

在小项目里，不需要用几十亿参数的大模型，一个轻量 Transformer 足够。状态表示我用了文本拼接方式：当前坐标、坐标历史轨迹、当前实验轮数、最近三次回报变化。例如："pos:1.20,-0.40;delta:+0.12;hist:1.10,-0.20|1.15,-0.30|1.20,-0.40;step:8"。把它分词后输入模型。这个设计的优点是方便调试，缺点是信息密度不高，真实项目可以换成向量拼接，但现在最小复现追求的是能跑通。

动作空间我定义为 27 个离散动作：x 和 y 分别取增加、减少、不变（3 × 3 = 9），步长再取大、中、小三档（0.8、0.2、0.05），组合成 27 个候选。为什么不直接输出连续数值？因为树搜索天然适合离散分支。连续动作需要采样或分桶，分桶后也可以，但调试复杂度会高很多。离散化也方便记录访问频次和累计回报，对价值估计更友好。

模型有两个输出头：策略头输出 27 个动作的概率，价值头输出当前状态的搜索价值估计。策略头和价值头共享主干，但价值头用独立的优化器，更新频率比策略头低一半。原因是如果两者同时同频更新，价值头很容易被策略头带偏，形成自欺循环。这里我先埋一个伏笔，后面踩坑部分会专门讲这个问题。你第一次跑实验的时候，可以先把价值头更新频率设成 2 比 1，也就是策略头更新两次，价值头更新一次，能显著减少训练震荡。

3.3 树搜索主循环与训练闭环实现

树搜索的主循环是 MOOSE-Star 的骨架。我先把选择规则写出来：
score(s, a) = Q(s, a) + c * P(s, a) * sqrt(log(N(s) + 1) / (1 + N(s, a)))
其中 Q(s, a) 是当前节点 - 动作下的平均回报，P(s, a) 是模型输出的先验概率，N(s, a) 是该动作被访问的次数，N(s) 是父节点访问次数总和。c 是探索常数。先验概率用来引导搜索优先考虑模型认为合理的动作，但不能完全依赖它，否则会退化成纯生成。

整个搜索 + 训练循环的伪代码如下：

python复制def moose_star_training(env, model, num_searches=200, update_interval=20):
    replay_buffer = []

    for search_idx in range(num_searches):
        root = Node(state=env.reset())
        tree_result = run_mcts(model, root, env)
        reward = env.evaluate(tree_result.final_state)

        for state, action in tree_result.high_reward_visits:
            replay_buffer.append((state, action, reward))
        for state, action in tree_result.low_reward_visits:
            replay_buffer.append((state, action, -0.1))

        if search_idx % update_interval == 0 and len(replay_buffer) > 32:
            train_step(model, replay_buffer)
            replay_buffer = replay_buffer[-3000:]
    return model

这段伪代码省略了很多工程细节，比如价值的折扣计算、回放池的优先级采样。但核心逻辑已经出来了：每次搜索产生一组带有正负标记的样本，攒够一批就更新模型。更新时只更新策略头，价值头每两次迭代更新一次。这样模型权重不是固定不变地跑到最后，而是在搜索过程中持续被反馈校正，这就是“直接训练”的含义。

真实跑的时候要注意两个实现细节。第一，树搜索的“高回报路径”不是只看最终一个数字，而是要看从某个节点到终点的累计回报。我习惯用折扣因子 0.95 把后续回报折回当前节点，这样模型能学会关注长期收益。第二，负样本不能用同一个 -0.1 简单代替，最好按实际回报排序，把后 20% 的路径标记为负样本，这样梯度信号会更平滑。

3.4 关键参数与我的实测选择

我记录一组在这个 toy 环境里效果较好的参数，你不需要完全照搬，但可以先从这里开始调。

UCB 常数 c 的影响最值得多说一句。c 设成 0 时，搜索完全按平均回报选动作，前期只要发现一个局部上升方向，所有搜索都会挤过去；c 设得太大，又变成近乎随机搜索，模型训了半天不见收敛。我最后的习惯是先用 c=1.0 跑二十轮，让模型先看够各种失败，再降到 0.5 提升利用率。这个方法比固定一个 c 稳定得多。

温度也是一样。如果温度从开始就设成 0.8，策略很快变得单一；如果一直设成 1.2，收敛会慢不少。我的退火策略是：前二十轮探索空间，后三十轮精炼已经发现的区域。这样既能保证覆盖率，又不牺牲最终精度。学习率不建议调得比 5e-4 大太多，因为搜索样本之间存在强相关性，学习率过高会导致模型在几轮之内就把某个方向的概率推到极端，后面再拉回来很费劲。

3.5 在玩具域上看到的直接效果

完整跑完五十次迭代后，我做了个对比：一组是固定的预训练语言模型，直接让它采样 500 条轨迹，找最高点；另一组是 MOOSE-Star 用同样预算训练和搜索。固定模型找到的最高回报在 1.35 附近，而且有大量重复坐标；MOOSE-Star 找到的最高回报能到 1.6 以上，更重要的是，它访问过的不同状态点超过 300 个，固定模型的状态点只有 60 多个。这个覆盖率差异是决定性的：覆盖率越高，后续继续搜索发现更优区域的可能性越大。

另一个值得记录的现象是训练中期的策略变化。前几轮模型几乎乱走，搜索树长得稀稀拉拉；到第十轮左右，模型开始明显偏好往右上方移动，因为那个方向有几个局部高点；到第二十轮之后，模型开始学会绕过右侧小峰，去中心主峰做精细探索。这种“从粗探索到精细利用”的转变，不是靠修改提示词得到的，而是搜索反馈直接写进了权重。我在另外几个随机函数上做了相同实验，结论一致：树搜索带来的覆盖率提升远远大于单纯增加采样轮数。

4. 真实项目里最容易踩的四个坑

4.1 搜索树塌缩成同一个模式

真实项目里第一个高频问题是搜索树塌缩。表现是训练到一半，模型对绝大多数状态输出的动作概率几乎一样，搜索树变成一条粗粗的直线，每条路径都在做重复操作。原因通常有两个：策略梯度目标太强，把高回报动作的概率推得过大；或者采样温度一开始就设得很低，模型过早锁定了局部最优。

解决办法是在损失函数里加熵正则。具体写法是：loss = -log P(a|s) * advantage - λ * H(π(s))。λ 我一般取 0.1~0.3，H(π(s)) 是当前策略分布的熵。另一个经验是，模型应该在开始的几十轮里获得尽量多的负样本，所以初始温度不要低于 1.0。宁可让模型多走弯路，也不能让它把一条死路当成目的地。我见过很多项目在第五轮就塌缩，原因是价值估计器初始不准，把很多没意义的分支都给了高分，策略就顺着这些假信号扎堆了。

4.2 价值头向策略头“自我催眠”

第二个坑是价值头向策略头自我催眠。共享主干结构下，模型调参时会把价值头推向策略头喜欢的方向：策略头偏爱某个动作，搜索访问多了，价值头给它的估值自然变高，于是策略头更偏爱它。这个循环一旦建立，整个系统会看起来一路向好的方向走，实际上只是在原地打转。

我在一个小实验里故意去掉价值头的延迟更新，跑五十轮后价值头的输出几乎变成了策略概率的函数，完全失去独立性。解决方案有两个：轻量版是价值头每更新两次才同步一次，并且用环境真实回报来做回归目标，而不是模型自己的预测；重量版是把价值估计器换成一个小型集成模型，用多个初始化不同的网络投票做估值。集成模型更稳，但工程开销明显增大。如果你的环境噪声很大，务必上集成，这能避免很多莫名其妙的反复。

4.3 稀疏奖励让梯度变成噪声

真实科学发现最棘手的问题是奖励稀疏。二维函数这种玩具环境每一步都有函数值反馈，但真实实验可能几周才出一条数据。此时大多数搜索路径的最终奖励是 0，正样本太少，模型梯度几乎全是噪声。我的处理方法是引入过程奖励：把“距离目标区间更近”“找到更多有效中间体”“明显减少无效样本”都设成小的子目标，每完成一个就给一点分数。过程奖励不需要很精确，只要能引导模型往有效方向走即可。

另一个技巧是 reward shaping。如果最终奖励获取不了，可以用当前状态与已知高回报状态之间的距离作为替代指标。但要注意 shaping 不能过度主导最终目标，否则模型会变成优化伪指标。我在一个化学反应条件优化项目中，先把目标函数改成“达到目标转化率的概率估计”，再把这个概率估计和真实转化率做加权平均，效果比单独用真实稀疏奖励或单独用伪奖励都稳定。这个经验可以直接借用。要点是：shaping 信号只能作为梯度方向的辅助，不能在数值上压过真实反馈。

4.4 搜索调用次数爆炸，工程上扛不住

最后一个问题来自工程。树搜索每扩展一个节点都要调用一次模型，如果每次搜索展开 5 个节点、跑 200 轮，就是上千次前向计算。把基础模型换成几十亿参数的大模型之后，这个开销基本不可接受。我的建议是改成两层架构：高频调用的小生成器和低频反思的大模型。小生成器用 1~3 亿参数，负责每个节点的候选动作生成；大模型每隔一定轮数对整棵搜索树做一次全局反思，输出抽象的策略建议，再把这些建议作为额外的上下文喂给小生成器。

另外可以缓存节点的 embedding，因为相邻节点的状态表示往往很接近。同一批节点的动作生成可以用 batch 推理同时计算，吞吐量能提升好几倍。把这些手段加起来，200 轮搜索的耗时能从小时级降到分钟级。我见过不少项目直接拿大模型硬跑树搜索，跑了一晚上出一个结果，然后抱怨这个思路不切实际，其实问题是工程剪枝没有做好。你甚至可以把搜索深度减小，先跑通闭环，再逐步加深深度。

5. 把直接训练范式带到真实科学发现

5.1 从玩具环境到实验台的三个差距

MOOSE-Star 目前还是一种训练范式，不是开箱即用的“科学发现机”。把它用在真实实验台之前，至少有三个差距要想清楚。第一个差距是动作空间连续性。真实实验条件如温度、压强、浓度比例都是连续变量，离散分桶会丢失精度。我的折衷方案是让模型输出离散的“方向语义”，比如“提高温度”“轻微降低配比”，然后由环境层把语义翻译成实际数值的随机扰动，这样既保留树搜索的离散结构，又不至于完全抛弃连续分辨率。

第二个差距是反馈延迟。真实实验等待周期长，不能每走一步都立刻更新模型。这时候可以把搜索树拆成离线回放池，先异步地跑完一大批搜索，再批量更新模型。技术上等同于在搜索和训练之间加一个队列，训练速度慢一点但稳定性更好。第三个差距是噪声和系统误差。同一个实验条件重复三次可能得到三个不同结果，价值估计不能只看单次回报，最好多次测量取平均，或者在状态表示中显式加入测量次数，让模型学会区分确定性和不确定信息。

我在一个模拟高通量实验的项目里试过，如果把噪声直接丢给模型而不做处理，训练曲线会剧烈震荡，模型会反复修改同一个区域的动作偏好。后来我把每个节点的回报记录换成滑动窗口均值，并给访问次数少的节点一个不确定性惩罚，训练立刻就稳定了。这个处理方式在真实实验里同样有效。

5.2 下一步可以这样衔接主动学习和贝叶斯优化

如果你已经准备把它接到真实项目上，我建议在 MOOSE-Star 外面再套一层主动学习循环：搜索树中价值较高但不确定性也大的节点，优先提交真实实验，把实验数据传回环境再更新模型。这和贝叶斯优化的逻辑互补：贝叶斯优化擅长低维连续参数空间的全局建模，MOOSE-Star 则擅长结构复杂、动作语义丰富的空间，比如分子修饰、反应路径改写、实验方案组合。

两者结合时，可以让贝叶斯优化负责连续数值参数，让语言模型动作负责结构层面改动，价值头给结构改动提供估计，贝叶斯优化给数值参数提供估计，最后统一排序。我在一个模拟化学反应条件优化的项目里这样组合过，单步采样效率比纯贝叶斯优化提高约三成。具体数字会随任务变化，但这个思路可以复用。注意衔接过程中不要指望一次性解决全部问题，先选一个可快速评估的代理指标，跑通循环，再慢慢替换成真实实验。

最后说一点我自己的体会。这个项目最开始是我怀疑大模型在大规模搜索任务里无能为力的一次测试，结果发现真正需要改变的其实不是模型的容量，而是模型与搜索系统之间的信息流。现在许多大模型的问题不是不聪明，而是太确定，它对每个问题都能给出漂亮的答案，却缺少对未知区域的敬畏。MOOSE-Star 里最重要的设计，就是把“探索出的死胡同”也变成训练信号，让模型学会诚实面对无效分支。如果让我给一个建议，不要急着上真实实验，先拿一个能快速评估的黑盒环境，用最小模型跑一遍完整的搜索训练闭环，感受一下“搜索反馈进入权重”和“提示词引导”之间的差异。这个差异，才是直接训练范式真正的价值所在。