OpenAI GPT-5项目进展缓慢，微软期待落空，未来模型代号Orion

去年11月，OpenAI CEO Altman强调，2024年不会推出名为GPT-5的模型。不过，知情人士透露，OpenAI最大投资者微软原本预计会在2024年中期看到该模型。

也有人表示，该项目迄今为止已经准备了18个多月。总体来说，这个代号为Orion的未来GPT-5模型的气氛已经不再友好。该模型已经进行了至少两次大规模训练，每次都需要数月的时间来处理大量数据，但每次训练后都会出现新的问题。

熟悉该项目的人士还指出，Orion目前充其量只是比OpenAI的公开模型更好，距离该公司所谓的“大跃进”还很远，而且无法说服投资者投入当前的巨大成本。据估计，该模型为期六个月的训练仅“消耗”了约 5 亿美元的计算成本。

危险在于，10 月份最后一次估值为 1570 亿美元的 OpenAI 继续受到投资者的追捧，但分析师指出，这一估值很大程度上是基于 Altman 的乐观预测，即 GPT-5 将在各个学科和任务中展现博士级别的表现，相比目前的GPT-4高中生水平实现了质的飞跃。

这意味着，如果GPT-5无法在合理的时间内合理登场，OpenAI的繁荣可能会像泡沫一样被刺破，成为反弹噩梦的开始。

数据“烧毁”

OpenAI 最初的想法是让 GPT-5 能够解锁新的科学发现，完成类似人类的决策行为，例如预约或预订航班，而犯错误的概率更小，或者至少能够警惕人工智能的幻觉。

但假设终究是假设。业内人士透露，OpenAI的预期有点过于乐观。 GPT-5仅在数据问题上就面临着难以想象的挫折。

人工模型在训练过程中需要不断地进行测试，这个过程可能会持续很长时间。在此期间，模型会被输入数万亿个单词片段，即所谓的标记。未来人工智能模型消耗的代币数量将是当前模型的十倍，甚至更多。

GPT-4的训练使用了大约13万亿个代币。如果一千个人每天协作处理 5000 个单词，那么这种规模的团队需要几个月的时间才能生产出 10 亿个代币，而成本是根据 Altman 的说法。说是一亿多美元。

因此，GPT-5模型最关键的问题是：数据不足。之前的模型使用新闻文章、社交媒体帖子和科学论文，但研究人员透露，公共互联网上的数据已经不够了，他们需要更多样化、更高质量的数据来让 GPT-5 更加强大。强大的。

转身困难

OpenAI目前的解决方案是从头开始创建数据，比如招募人员编写新的软件代码或解决数学问题供Orion学习。这些员工有些是软件工程师，有些是数学家，必要时需要向 Orion 解释自己的工作。

另一种方式是让现有的人工智能创建数据来训练Orion，比如OpenAI的o1。但研究人员也指出，用人工智能产生的数据喂养人工智能往往会导致故障或导致毫无意义的答案。

总之，在把Orion变成名副其实的GPT-5的路上，OpenAI已经感到疲惫了。在实现质的飞跃之前，人工智能首先落到了量的积累。更无奈的是，OpenAI今年持续的人才流失更是加深了这一困境。

从首席科学家 Ilya Sutskever 到首席技术官 Mira Murati，再到上周四辞职的知名研究员 Alec Radford，OpenAI 的伟人纷纷离巢，给“艰难”的 GPT-5 增添了一层悲观情绪。

尚未看到结果的 GPT-5 将不可避免地与 OpenAI 内部的商业项目（例如 Sora）争夺有限的计算资源。这也是一个警告，表明 Orion 没有太多重新开始的机会，因为 OpenAI 已经明确了盈利的野心。