Llama 4万亿巨兽延期,80%核心元老集体辞职?

  新智元报道

  编辑:桃子

  2 万亿 Llama 4 巨兽一再推迟,又传出了 80% 团队辞职的惊人消息!目前,发言人已辟谣信息不准确,Meta 或许迎来了至暗时刻。

  Llama 4 团队约 80% 的人集体辞职?

  昨天,来自 AI 明星初创 Prime Intellect 的机器学习研究员一则惊天爆料,彻底点燃了 AI 圈。

  就连 WSJ 几天前的独家报道,也被人们翻了出来。

  文章称,Meta 旗舰 AI 模型「Behemoth」一再推迟发布,内部对公司数十亿美元 AI 战略的质疑达到顶峰。

  而且,文中还给出了更多人员流失的细节:

  Llama 1 初始团队中,原来 14 人中已有 11 人从 Meta 离职。

  对此,Meta 高管 Dave Arnold 立即辟谣,80% 员工逃离的消息不准确。他还特别强调,这些离职的仅是发表 Llama 1 团队的人,并非后续的团队。

  与此同时,OpenAI 昨日上线了超强编码智能体 Codex。下周,谷歌I/O大会上还将发布 Veo、Flow 等一系列爆款。

  这场风波,让行业不禁发出灵魂拷问:Meta 在这场 AI 竞赛中,是否已陷入瓶颈?

  2 万亿巨兽「滑铁卢」

  按照原计划,Meta 会在 4 月首届 AI 开发者大会上,正式上线 2 万亿参数 Behemoth。

  当时,知情人士表示,由于模型性能未达预期,发布时间被推迟至 6 月。

  如今,将会延至到今年秋季,甚至更晚。

  Llama 4 发布当天,Meta 曾首次介绍了这款模型,仍在训练中。

  它是 Maverick 协同蒸馏的教师模型,使用 30T 多模态 token 在 32K 个 GPU 上进行预训练(FP8)。

  Behemoth 是 Meta 大模型与 OpenAI、谷歌、Anthropic 等抗衡的重要武器。

  然而,工程师们在提升其性能方面遇到困难,内部甚至质疑其改进是否足以支撑公开发布。

  甚至,Behemoth 的开发困境让高管们,对 Llama 4 开发团队的表现感到失望。

  在内部,他们正考虑对 AI 产品团队进行重大优化调整。

  Meta 慌了,招募 AI 大佬带队 Llama 5?

  Meta 的 AI 之路并非一帆风顺。

  其首款 Llama 模型,曾由 AI 研究团队(FAIR)开发。该团队以学术研究为主,成员大多是博士。

  2023 年初,Llama 1 及相关论文发布后,在业界赢得了广泛的好评。

  论文地址:https://arxiv.org/pdf/2302.13971

  然而,自那以后,原始论文的 14 名研究者中有 11 人已离开公司,新一代 Llama 模型由另一团队接手。

  今年,Meta 还计划投资高达 720 亿美元,大部分用于 AI 的研发、基础设施投入。

  然而,上个月,Llama 4 模型的上线,却让人们大失所望。因其在 LMArena 上,用了非公开版模型去刷榜,模型排名冲到 TOP 3。

  一时间,全网质疑 Meta 造假声愈演愈烈。最后,LMSYS 决定重新评估,结果 Llama 4 真实排名跌倒了 30 开外。

  在所有对手快速迭代的强压之下,Meta 实属慌了。

  Hyperbolic 联创兼 CTO Yuchen Jin 称,自己收到了 Meta 招募信息——带领 Llama 5 团队。

  另一张来自@kalomaze 截图显示,Meta 发出多个英雄帖,在美国不同地区大量招募软件工程师。

  几天前,Yuchen Jin 用 Meta AI 测试 Llama 4 后,体验感极差。

  截图后让模型去理解图片内容,但 Meta AI 拒绝了回复。当他去登录账号时,也失败了。

  他直言道,「这不仅仅是 Llama 4 的问题,而是 Meta 的技术问题」。

  Scaling Law 又一次撞墙?

  Meta 当下的困境并非个例。

  当前,其他顶级 AI 公司同样在下一代模型的开发中遇到了瓶颈。

  先拿 OpenAI 来说吧,他们原计划于 2024 年中发布 GPT-5,至今仍未推出,最新版本仅为 GPT-4.5。

  不过,在昨天 AMA Reddit 在线问中,OpenAI 副总裁透露,多个产品整合到 GPT-5 中。而且,据称,GPT-5 将完全基于尚未发布的模型构建。

  另外,Anthropic Claude 3.5 Opus 模型自去年宣布以来,至今未发布,对外仅表示「即将推出」。

  纽约大学数据科学中心助理教授 Ravid Shwartz-Ziv 指出,「目前,所有实验室和模型的进步都相当有限」。

  这一现象表明,AI 模型的未来发展可能比过去慢得多,且成本高昂。

  尽管 Behemoth 的发布一再推迟,Meta 仍有可能选择提前推出一个功能有限的版本,以缓解外部压力。

  参考资料:

  https://x.com/kalomaze/status/1923431110962204680

  https://www.wsj.com/tech/ai/meta-is-delaying-the-rollout-of-its-flagship-ai-model-f4b105f7?mod=hp_lead_pos1

  https://x.com/Yuchenj_UW/status/1922696849741447421

  https://x.com/Yuchenj_UW/status/1923490648256282709