新智元报道
编辑：KingHZ
AlphaStar 等证明强化学习在游戏等复杂任务上，表现出色，远超职业选手！那强化学习怎么突然就不行了呢？强化学习到底是怎么走上歧路的？
最近，斯坦福的 AI+CS 博士 Joseph Suarez 发表了对强化学习的历史回顾。
结果，在上火了！目前，已有 38.2 万阅读。
封面可谓醒目：一条曲线线先是快速上升，然后平缓爬升，最后却急转直下 ，暗喻 RL 领域的研究前途不妙！
从历史角度看，强化学习发生了什么？为什么到现在它才真正开始起飞？
他提供了独特的个人视角。
师出名门
2019 年， 他本科毕业于斯坦福大学计算机科学专业人工智能方向。
2018 年，他利用休学期在 OpenAI 完成 6 个月实习，期间正式发布 Neural MMO 首个公开版本
更早之前，他曾在李飞飞课题组、吴恩达实验室参与过研究项目。
大约从 2017 年，他开始从事强化学习。
当时，他在麻省理工学院 Phillip Isola 实验室攻读博士，开始创建开源计算研究平台 Neural MMO。
他的研究聚焦于推动现代基于智能体的学习方法向更复杂、更具认知真实性的环境拓展。
后来，这个项目后来成为他整个博士生毕业论文的的主题。
论文链接：https://jsuarez5341.github.io/static/jsuarez_phd_thesis.pdf
这也为他 PufferLib 的工作奠定了基础。
当时，各大实验室也在做从零开始、非语言模型的强化学习 RL。
事实上，这是当时大多数工作的重点：多智能体（multiagent）刚刚兴起，所有核心算法刚刚发布。
AlphaGo 让研究者已经看到了强化学习的潜力。OpenAI Five 正在开发中，当时他恰好在 OpenAI 实习，所以亲眼看到了一些工作。
OpenAI 的 DoTA（Dota 2）项目，则完全让他信服 RL 的神奇。
论文链接:https://cdn.openai.com/dota-2.pdf
你如果不玩这款游戏，难以想象这个问题有多复杂。
你不会相信人们居然把打 DoTA 当成爱好。它和围棋并非完全一样，无法直接比较，但它确实涉及许多围棋中没有的、与现实世界相关的推理类型。
比如，高低级策略、控制、团队协调和心智理论（theory of mind），这些只是其中几个例子。
而 OpenAI 用 1.68 亿参数的网络，在约 1000 个 GPU 上训练，打败了顶尖职业选手。
现在，用 64 到 128 个 H100 GPU，你也能做到。
而且还不止一个结果。还有 AlphaStar、Capture the Flag、Emergent Tool Use……
在训练过程中，AlphaStar 最终被选中与职业选手 MaNa 对抗的智能体（黑点）其策略与竞争对手（彩点）的演化过程。每个彩点代表 AlphaStar 联赛中的一位竞争对手
短短时间内，有好几个主要的 RL 展示项目。那么，既然潜力这么明显，领域肯定会继续前进，对吧……对吧？？？
为什么 RL 衰落了
从 2019 年到 2022 年的，有些工作继续在进行，但强化学习明显在走下坡路。
尽管那几年论文更多了，但没有多少像 2017-2019 年那种水平的持久突破。究竟发生了什么？
首要的因素是学术短视。
整个领域集体决定了一套标准，却没有实际理由。在这些标准下，几乎不可能出现什么进步。
由于历史原因，Agent57 成为了最常见的基准，共包含 57 款雅达利游戏。
由于任务结果波动大，需要运行所有游戏（理想情况下，每款游戏使用多个种子）。同时，学界决定x轴应该是样本数，而不是实际运行时间（墙钟时间）。
背后的想法是，这更接近现实世界的学习，许多问题受限于采样率。而且你不用担心不同论文的硬件设置。
然而，显而易见的问题是没有限制硬件使用量，可以通过投入更多计算资源来提升基准成绩。因此，研究变得愈加耗时，以至于单个游戏的单独运行可能需要耗费数周的 GPU 时间。
因为学术界对工程很排斥，代码基底也慢得可怕。更不用说有限的预算……
所以，你最终需要 1 万 GPU 小时，在利用率不到5% 的情况下运行一组消融实验（ablations）。
这样的研究方式根本行不通，跟好的科学更不沾边。
要是没有上万小时的 GPU 算力，很多人干脆不做消融实验就直接发论文——难怪那时候的研究成果基本无法复现。
另外，学界追名逐利。
大语言模型（LLMs）出现了。
人们经常问他为什么讨厌 LLM。他真的不讨厌。他讨厌的是，它们从其他领域吸走了 99% 的天才，而不是更合理的 80%。
他眼看着最有才华的同事一个个离开 RL 研究领域，被雇去研究 LLM。这很难去责怪他们。做 RL 太糟了。那是艰苦、残酷的工作，对抗一套似乎专门设计来阻碍真正进步。
在一般深度学习中你习以为常的基本东西，甚至 2015 年的东西，在 RL 中都不存在。
超参数没道理，模型无法扩展，简单的任务也无法顺利转移。
尽管他们有证据证明 RL 能在 DoTA 和围棋之类的惊人问题上奏效，但日常工作的感觉就是绝望。
现在的 RL 重蹈覆辙
缓慢的实验周期、过度优化的评价体系、迟缓的开发进度……这一切听起来是否耳熟？
现代 RL 研究不知怎么花了数十亿美元，却再现了最初扼杀 RL 发展的混乱局面，重蹈覆辙。
David Peterson 对此非常认同：强化学习莫名其妙地多次重蹈覆辙，上一次是时序差分。
这一次它会走得更远，毕竟有利可图……但效率极低。
看着该领域重新陷入前人多年前就已经克服的困境，同时为各种概念创造新的术语，令人啼笑皆非。
「多轮 RL」意思是「不只是赌博机问题」（not a bandit）。这几乎涵盖了全部的 RL 新研究，除了某些小众理论研究。
「长期规划」（Long horizons）也不是新东西，这也不是让问题变得如此困难的全貌。
当前对早期 RL 研究的充满了不信任，Joseph Suarez 表示理解——
因为许多发表的内容确实存在问题。
另寻他路
Joseph Suarez 还在坚持用小模型从零开始的 RL。
只是现在，这不再是衰落的旧势力，他们在以惊人速度突破。
那么，什么改变了？
完成博士学位后，他决定完全从学界的随意的标准中解放出来，从头重建 RL。
标准是墙钟训练时间，性能工程将和算法工作一样重要。
他花几个月时间拆除所有慢的基础设施，目标是每秒数百万步的吞吐，而不是几千。
起初，这只是现有方法的加速版本。这对解决行业中因成本过高而难以实施的问题已绰绰有余。
但这还不止——这个过程实际上让他们能够以前所未有的速度开展高质量研究。当你可以运行 1000 倍的实验时，无需过于精巧的方法论；当所有选项都可以测试时，也无需小心翼翼地挑选变量。
最新基准测试显示，在单个 RTX 5090 上，强化学习库 PufferLib 3.0 的训练速度最高可达每秒 400 万步
一年前，你需要 RL 博士学位和几周到几个月来处理每个新问题。如果你没有经验，耗时就更长了。现在，新手程序员在几天内让 RL 在新问题上运行。不是超级难的问题——那些还是需要点经验。但比之前好多了。
他们走在正确方向的迹象：他们在简单环境上的实验能泛化到更难环境。
他们认为之前的 batch size 和特定退化超参数是罪魁祸首。不是 100%——肯定有些技术只有在更难问题上才见效。
但他们现在有足够多在几分钟内运行的技术，开发周期还是很快。
下一步：他们计划能用现有东西解决有价值的问题。
只要能建快模拟器，RL 大多能工作。嘿，在很多问题上，它开箱即用。
长期来看，他们会回到旧的样本效率研究。但他们还是会从至少保持 flop 效率的角度接近它。不再让 GPU 在5% 利用率下跑批量大小 8 的 200 万参数网络。
参考资料：
