新智元报道
编辑:Aeneas
太疯狂了,AlphaGo 的「第 37 步」时刻,已经来临。谷歌的 AlphaEvolve,让我们从此进入 AI 创造科学的时代,人类科研将彻底颠覆!背后的研究者也首次接受采访,揭秘研究过程中的一些惊人细节。
这周,谷歌 DeepMind 扔出了重磅炸弹——AlphaEvolve。
但许多人,仿佛还未意识到这个 AI 的意义。
可以这么说,AlphaEvolve,就是数学界 AlphaGo 的「第 37 步」时刻,堪称疯狂。
谷歌的这个 AI,取得了人类未曾发现的数学成果。
比如,它改进了改进了 4x4 矩阵乘法,将运算次数从 49 次减少到 48 次,这是自 1969 年 Strassen 算法提出以来,56 年内的突破!
另外,它还推进了六边形填充问题的研究,找到了在更大六边形内排列 11 个和 12 个六边形的更优解法,超越了人类的解决方案(在停滞 16 年之后)!
甚至,它一举改进了困扰数学家 300 多年的「接吻数问题」。
而这一切,都是靠 AI 自我进化、训练自己所使用的 LLM 而得到的。
通过自我对弈,它拥有了超人的编码能力,甚至让人预言——
十年内,编程将迎来自己的 AlphaGo 时刻。
而且,跟 AlphaGo 的「第 37 步」不同,AlphaEvolve 展现出 AI 自主优化算法的能力,或将彻底改变芯片设计和数据中心效率。
谷歌 CEO Pichai,对「AI 训练 AI」进行了生动的解释:由 Gemini 驱动的编码 agent,优化了 Gemini 的训练,形成了一个数据飞轮
跟以往成果不同的是,谷歌 DeepMind 这次直接弄出一个通用武器。
从此,AI 不仅能解决问题,还能发现新的前沿领域。这就代表着,人类集体智慧发生了一次真正的飞跃!
接下来的剧本,或许就是 AI 横扫各大科学难题,直接颠覆人类科研。
谷歌 DeepMind
引领全人类未来
谷歌 DeepMind,一直在 AI 改造世界这个方向引领着前沿。可以说,在将近 30 年里,他们都在指引着人类文明的方向。
AlphaGo 通过学习人类对弈,甚至自我对弈,击败了人类冠军李世石。
AlphaZero 通过自我对弈,学会围棋、国际象棋和日本将棋,被称为一种人类从未见过的智慧。
AlphaFold 预测了数百万种从未通过实验测量过的蛋白质三维结构。
AlphaDev 则发现了更快的排序算法。
AlphaTensor 用于进行科学发现,将寻找更快矩阵乘法算法的问题构造成一个游戏,实现了重大突破。
FunSearch 则将我们带到更远,通过代码演化,利用 LLM 寻找新的数学解决方案。
谷歌 DeepMind 的下一个 Alpha,更是令人无比期待。
OpenAI 研究员 Jason Wei 就表示,AlphaEvolve 对于像我这样的强化学习铁杆粉丝来说,确实令人不安
所以,这次打造出 AlphaEvolve 的团队,究竟有哪些人物,经历了哪些探索?
就在最近,Youtube 上的人气大V「Machine Learning Street Talk」,就提前获取了谷歌 DeepMind 的这篇论文,并采访了这项工作的研究者。
半个世纪矩阵乘法突破,研究者当场惊呆
在计算机科学领域,几乎没有问题能像矩阵乘法一样基础。
半个多世纪以来,此领域的一个特定基准,一直被认为难以突破。
因为最优算法的搜索空间极为庞大,使得穷举在实践中几乎不可能,即使对相对较小的矩阵也是如此。
1969 年,Strassen 通过发现一种算法,彻底改变了这一领域。该算法仅需七次标量乘法,即可乘以两个二乘二矩阵。
而就在今天,这一纪录被 Alpha Evolve 打破了!
而它能做到一点,连谷歌 DeepMind 的研究者都没想到。
对于通常情况下的矩阵,仍然没有比使用四十九次乘法进行两次 Strassen 更好的办法。
开始,研究者们也压根没有期待,它能找到比四十九次更好的结果,因为他们已经用 AlphaTensor 尝试了很长时间了。
所以,他们只是出于完整性试了一下,因为想在论文中展示这个表格而已。
结果,出乎所有人意料,一个更快的算法,居然被它发现了!
这次,算法使用了 48 次,而不是 49 次乘法,彻底打破纪录。
当看到一位同事发消息通知这一结果时,研究者表示自己简直不敢相信。
反复检查三遍后,他们终于确认——
AI 不断增强的能力,可以生成全新的、可证明准确的算法,从而推动科学的边界!
跟第一版本有何区别?
根据论文,AlphaEvolve 是一种进化编程智能体,显著提升了预训练 LLM 在复杂任务上的能力。
要知道,此前团队曾有过第一篇论文,讲的是 FunSearch,原理与之非常类似。
所以,二者的区别在哪里呢?
研究者介绍说,FunSearch 只是在搜索一个单一的函数,但 AlphaEvolve,本质上可以作用于整个代码库。
它会在代码库中你标记的区域中进行搜索,甚至优化这些函数之间的交互。
谷歌昂贵的服务器,不用闲置了
所以,AlphaEvolve 有没有可能进化出一个方法,来优化谷歌的计算基础设施呢?
出于尝试,谷歌工程师将一个候选方案放进这个 AI,令人惊喜的是,它果然进化出了一个更聪明的启发式方法!
现在,这个方法已经被运用于优化谷歌内部的计算基础设施了。
要知道,在谷歌庞大的数据中心,高效安排计算任务是一项非常复杂的操作。如果操作不当,昂贵的服务器就会闲置。
而现在结果正式,这个全新方法利用了谷歌服务器群计算资源的 0.7%,对于谷歌来说,这是一项巨大的节省。
盗梦空间成真?
甚至,在另一个自我改进的实例中,它甚至找到了加速 Gemini 模型训练的方法,这,就为 AlphaEvolve 本身提供了动力。
这个实例之所以如此有趣,是因为它不仅生成了解决方案,还生成了产生这些方案的程序。
也就是说,Alpha Evolve 像《盗梦空间》一样。
甚至研究者表示,在检查代码时,他不仅想到,这看起来完全就是一种数学洞察,或者一种数学假设!
事实也证明了,它们的确对改进结果非常关键。
而 Alpha Evolve 另外一个有趣的点,就是它仍然非常依赖「人类参与其中」。
过程中,人类负责识别哪些内容是有趣的,找到那些有明确评估标准的问题,将候选解决方案纳入循环中。
然后,Alpha Evolve 就会遍历这个可能性的锥体,在过程中不断跳跃,将这个循环继续下去。
所以,Alpha Evolve 也预示了一种 AI 的未来——人类和 AI 之间,有着强大的协作循环。
曾经有一个「死掉的互联网」的理论,指的是在未来,网上大部分内容都将由 AI 生成,而且非常表面化、非常肤浅。
而此时,就需要人类来指导 AI、改进结果,进行迭代。
而让 Alpha Evolve 如此酷炫且强大的,也正是人与机器之间的这种互动。
AlphaEvolve,为何如此适合科学发现
在访谈中,主持人向研究者提问道:究竟是什么促使你们走上了进化算法的道路呢?
研究者回答说,这就跟科学发现的过程一样,是一个非常自然的选择。
进化算法能为探索过程带来多样性,确保你不会在早期就锁定在某种特定方法上,因为这种方法有可能是次优解。
最终,我们仍然需要不断探索所有的可能性,尤其是想要做出新的科学发现时。
言简意赅地说,AlphaEvolve 就是一个进化算法,对于系统给出代码片段,我们都可以自动测试它好不好,有多好。
一方面,它可以把你限制在你可以解决的问题集上,而另一方面,它涵盖的问题范围又非常广泛。
LLM 会给你提出各种想法,通过这个评估器,我们就可以筛选出真正重要的、能做出改变的想法。
最有潜力的代码,将被识别出来,然后专注于改进这些部分。
接下来,采访者就提出了一个重要的问题:我们什么时候才知道,这个过程要结束?
比如,可能我们觉得该终止了,但如果再多等五分钟,就会得到一个近乎完美的算法。
研究者解答了他的疑惑。
从理论上讲,的确永远无法确定如何让算法运行更久,以及会得到什么结果。
但在实践中,这并未造成任何问题。
比如可以这样设置问题:我正在尝试解决这个数学中的开放性问题,寻找能取得进展的搜索算法,但我希望 10 分钟内就能取得进展。
也就是说,其实我们只探索了能在 10 分钟内做出进展的算法空间。
当然的确存在这种可能性:如果运行更长时间,说不定还会有表现更好的算法。这个可能性永远无法消除。
那一刻,AI 发生了想象力惊人的跳跃
主持人问道:你可以举出一些系统做出真正有想象力的跳跃的例子吗?
研究者表示,一个具体的例子,AlphaEvolve 如何发现矩阵乘法算法的。
实际上,他们只是让它设计了一个基于梯度的搜索算法,也即一个能找出的算法的算法,或者说元算法。
第一个搜索算法,是从一个非常简单的代码框架开始的。
研究者并未给它任何东西,只告诉它「用梯度」,然后,它就写出了这些复杂的损失函数和更新函数,而且以完全出人意料的方式引入了随机性。
就在那一刻,研究者惊呼:太厉害了!
当然,这种代码也有可能是人类写出的,但他们真的会想到写出这段特定代码吗?
那一刻,他仿佛顿悟了——AlphaEvolve 做的,是一些类似人类的事情,但又显然不是人类会尝试的东西。
人类具体是怎样指导 AI 的呢?
研究者提及了一个实验,在这个实验中,他们请几个人花了 30 分钟思考这个问题,记下笔记,然后指导系统完成整个过程。
可以理解为,AI 榨出了这个想法的全部精华,理解了它的本质,于是引导 LLM 得出了这样的目标,同时做了很多优化。
听起来,这就是智能的本质——尝试很多事情,总有一件会成功。
最震撼之处:改变世界,就在当下
研究者表示,在以往,通常我们很难开发出某种科研工具,直接、立刻应用到现实世界的挑战,并产生巨大影响。
而 AlphaEvolve 的意义就在于,在开箱时就能同时在数学和科学问题上做出新发现,甚至还能发现可以直接部署到谷歌核心计算架构中的算法。
这,是他们此前从未经历过的事情。
AI 奇点,或许已经到来了。
参考资料: