Thinking Machine 最新研究正在被热议！
创始人、OpenAI 前 CTO Mira Murati 亲自转发后，一众围观大佬开始惊叹其研究价值（截不完、根本截不完）：
根据 Mira Murati 的提炼，原来他们提出了一种让小模型更懂专业领域的 LLM（大语言模型）后训练方法——On-Policy Distillation （在线策略蒸馏）。
这个方法的精髓，可以打个比方。想象一下，以前训练 AI 有两种主流方式：
- 实战演戏（如强化学习等在线策略方法）：让它自己摸索、从错误中成长，学得灵活，但非常耗时耗力。
- 请家教（如监督微调等离线策略方法）：直接把正确答案喂给它，效率高，但学得死板。
而 On-Policy Distillation 相当于请了一位天才教练。这位教练一边让 AI 自己动手解题（实战），一边在它卡壳或犯错时，立刻给出关键提示和正确答案（家教）。
这样做最大的好处就是“性价比”超高。实验结果证明，用这种方法来教小模型数学——达到同样水平，所需的训练步骤少了7-10 倍；整体算下来，效率提升了 50-100 倍。
这意味着，一些资源受限的个人或小公司，也能高效地训练出在特定领域很能打的“小模型”了。
包括翁荔在内，难怪大家看完都直呼：优雅、实在是优雅！
而且啊，当我们扒完相关博客后才发现，On-Policy Distillation 的价值还不止于此——
在线策略蒸馏：结合两种范式的最佳实践
论文指出，要让模型具备强大的专业领域能力，通常会经历以下三个过程：
- 预训练 (Pre-training): 教会模型通用能力，比如语言使用、广义推理、世界知识。
- 中训练 (Mid-training): 传授领域知识，比如代码、医学数据库、公司内部文档。
- 后训练 (Post-training): 这是最后也是至关重要的一步，需要引导模型产生目标行为，比如按指令操作、解决数学题、聊天等。
而他们这次就把目光放在了后训练上。
截至目前，后训练阶段诞生了两大主流范式，即开头提到的在线策略 (On-policy) 和离线策略 (Off-policy) 训练。
考虑到两种方式各有其优缺点，所有这次他们选择“取其精华去其糟粕”，来一个巧妙的融合——
将在线策略的自主探索与离线策略的密集监督结合起来，以创造一个“两全其美”的训练框架。
具体来说，他们核心想让学生模型在自己生成的轨迹上学习，但每一步（注意是每一步）都由一个更强大的教师模型进行细致的评分和指导。（就像解题一样，学生给出每一步解题过程，教师给每一步打分）
相关流程大致如下：
- 初始化教师模型：找一个实力强大的模型当老师（通用模型或经过专门训练的专家模型均可），它只负责计算概率，而不需要进行反向传播更新梯度。
- 学生采样轨迹：让学生模型自主解题，过程中需记录下它在每一步选择每个 token 的对数概率。
- 教师逐步评分：将学生模型生成的轨迹，原封不动地交给教师模型。教师模型会对这个轨迹的每一个 token 进行评估，计算出在相同的上下文下，它自己生成这个 token 的对数概率。然后，通过学生和教师的对数概率之差，可以计算出两者在每一步的分歧 (Divergence)。
- 使用分歧作为奖励进行训练：最后使用上述分歧作为奖励信号，来更新学生模型。
这里重点介绍一下“KL 散度 （Negative reverse KL divergence） ”这一评估分歧的指标。
简单来说，当学生模型与教师模型的行为一致时，KL 散度为零；当学生模型的选择与教师模型的期望相差甚远时，KL 散度会变得很大，从而产生一个强烈的负面奖励（惩罚）。
学生模型的目标就是通过训练，最小化这个 KL 散度——换言之，越像老师奖励越高，越不像惩罚越狠。
这种逆向 KL 散度具备两个非常优秀的特性：
一是能防作弊。传统强化学习中，模型可能学会钻空子，用一些看似正确实则取巧的方式获得高分。而现在，评判标准直接锚定教师模型的“真知灼见”，学生只有真正学到精髓才能获得高分，堵死了作弊空间。
二是让学习过程更加稳定和聚焦。它能让学生模型精准锁定教师模型展现的“最优解法”，避免在多个普通答案间摇摆不定，从而确保学习过程更稳定、结果更出色。
基于上述方法和特性，他们进行了两个实验来验证其效果。
实验一：将 32B 大模型的数学能力快速教给 8B 小模型
教师模型：Qwen3-32B
学生模型：Qwen3-8B-Base
所有实验从一个共同起点开始：学生模型通过传统训练（监督微调），在数学基准 AIME’24 上已达到 60 分。研究目标是将性能从 60 分提升至 70 分。
为达成目标，研究人员对比了三种方法的计算成本：
- 继续传统训练：大约需要额外训练 200 万个样本，计算开销非常巨大；
- 强化学习：根据 Qwen3 团队的技术报告，在一个相似的 SFT 初始化模型之上，通过强化学习将性能提升到 67.6%，花费了 17920 个 GPU 小时。这个成本与训练 200 万个 SFT 样本的成本大致相当；
- 在线策略蒸馏：仅用了大约 150 个训练步骤就达到了 70% 的目标分数，与外推到 200 万样本的 SFT 相比，在线策略蒸馏的计算成本砍掉了9~30 倍。
而且如果从 GPU 小时的角度看，由于教师模型计算对数概率 (log-probs) 的过程可以高效并行化，实际节省的时间成本可能更接近 18 倍。
这个实验有力证明了在线策略蒸馏在计算效率上的巨大优势。它用远低于传统 SFT 或 RL 的成本，实现了同等甚至更好的性能提升。
实验二：打造兼具知识性与通用性的企业 AI 助理
目前存在的问题是：给 AI 学习新知识（公司内部文档）时，它会忘记旧技能（对话交流）。
假如使用传统微调方法向模型注入内部知识，往往会出现严重的“灾难性遗忘”——内部知识得分显著提升（从 18% 升至 43%），但通用能力大幅下降（从 85% 暴跌至 45%）。
而且无论怎样调整数据配比，都无法同时保住两项能力。
于是他们想到了，当模型因学习新知识而“遗忘”部分通用能力后，可以使用在线策略蒸馏进行修复——让“失忆”的模型向它自己最初的、能力完整的版本学习。
结果意外发现，模型的通用能力几乎完全恢复（从 79% 回升至 83%），同时新知识未被破坏（反而从 36% 提升至 41%）。
这说明，在线策略蒸馏是解决 AI“灾难性遗忘”的有效工具。它能够在不损害新学技能的前提下，精准地恢复模型遗忘的核心能力，为实现 AI 的“终身学习”提供了关键技术支持。
论文核心作者 Kevin Lu
最后看一下这项研究的核心作者——Kevin Lu（论文唯一单独提到的）。
今年 8 月，Kevin Lu 离开 OpenAI 转身投入 Thinking Machine 的怀抱。
在 OpenAI 工作期间，他领导了 4o-mini 发布，并参与 o1-mini、o3 发布，主要研究强化学习、小模型和合成数据。
很明显，这一次的研究也和其之前的工作息息相关。
论文：
