OpenAI 下一代旗舰模型或难现巨大飞跃，进步速度似乎正在放缓

据报道，测试代号为 Orion 的新模型的员工发现，虽然新模型的性能优于 OpenAI 现有模型，但提升幅度并不如从 GPT-3 到 GPT-4 那么大。

换句话说，OpenAI 的进展速度似乎正在放缓。据一些内部员工称，对于编程等任务，Orion 并不比以前的模型更可靠。 OpenAI 员工和研究人员表示，GPT 开发放缓的原因之一是高质量文本和其他数据的供应减少。

针对这种情况，OpenAI成立了一个基金会团队来研究如何在新的训练数据不断减少的情况下继续改进模型。据报道，这些新策略包括使用人工智能模型生成的合成数据来训练 Orion。

目前，OpenAI尚未回应相关新闻的置评请求。然而，上个月 OpenAI 表示，“今年没有计划发布代号为 Orion 的模型”。

在语言任务上表现更好

使用 ChatGPT 的用户数量正在飙升。然而，ChatGPT 的底层模型改进似乎正在放缓。

OpenAI 即将推出的旗舰模型 Orion 面临的挑战说明了 OpenAI 面临的困难。今年 5 月，OpenAI 首席执行官 Altman 告诉员工，他预计正在训练的 Orion 可能比一年前发布的模型要好得多。

The Information 近日援引知情人士的话称，Altman 表示，虽然 OpenAI 仅完成了 Orion 训练过程的 20%，但在智能以及完成任务和回答问题的能力方面已经与 GPT-4 相当。

不过，一些使用过或测试过 Orion 的 OpenAI 员工表示，虽然 Orion 的性能超越了之前的模型，但质量的提升远小于从 GPT-3 到 GPT-4 的飞跃。

OpenAI 的一些研究人员认为 Orion 在处理某些任务方面并不比以前的模型更可靠。 The Information 援引一位 OpenAI 员工的话说，Orion 在语言任务上表现更好，但在编码等任务上可能无法超越之前的模型。一名员工表示，与 OpenAI 最近发布的其他模型相比，Orion 在数据中心运行的成本可能更高。

OpenAI 研究员 Noam Brown 上个月在 TED AI 会议上表示，开发更先进的模型在经济上可能不可行。

“我们真的想训练花费数千亿或数万亿美元的模型吗？”布朗说。 “到了某个时候，扩展范式将会崩溃。”

数据资源是否被耗尽？

缩放法则是人工智能领域的一个核心假设：只要有更多的数据可供学习，并且有额外的计算能力来促进训练过程，大型语言模型（LLM）就会继续以相同的速度改进。

扎克伯格、奥特曼等人也公开表示，他们还没有达到传统缩放法则的极限。

这就是为什么包括 OpenAI 在内的公司仍然花费数十亿美元建设昂贵的数据中心，以尽可能地从预先训练的模型中获得性能提升。

虽然理论上目前的模型没有触及Scaling law的极限，但可用的数据源已经快枯竭了。

OpenAI 员工和研究人员表示，GPT 模型速度放缓的原因之一是高质量文本和其他数据的供应不足。大型语言模型需要在预训练期间处理这些数据，以了解世界以及不同概念之间的关系，以解决诸如撰写文章或编程错误等问题。

澎湃新闻援引知情人士的话称，过去几年，大型语言模型在预训练过程中都使用了公共文本以及来自网站、书籍等来源的数据，但模型开发者基本上已经排挤了此类数据资源。完毕。

合成数据可用于训练

针对这种情况，OpenAI成立了一个基金会团队来研究如何在新的训练数据不断减少的情况下继续改进模型。该团队由尼克·莱德 (Nick Ryder) 领导，他之前曾进行过预训练。 OpenAI表示，团队将研究如何处理训练数据缺乏的问题以及Scaling law可以应用多长时间。

一位OpenAI员工表示，Orion的部分训练数据是AI生成的合成数据。该数据由 GPT-4 和最近发布的推理模型 o1 生成。然而，该员工表示，这些综合数据引发了一个新的担忧，即猎户座最终可能在某些方面与那些旧型号相似。

软件公司Databricks的联合创始人兼董事长Ion Stoica表示，这种合成数据可能无助于人工智能的进步。

此外，OpenAI研究人员在模型的后训练阶段进行了额外的改进。例如，OpenAI 使用强化学习方法来改进其处理特定任务的方式，让模型从大量具有正确解决方案的任务中学习（例如数学或编程问题）。

同时，OpenAI还将要求人类评估人员在特定任务上测试预训练模型并对答案进行评分。这有助于研究人员定制他们的模型，以更好地响应特定类型的请求，例如写作或编程。这种利用人类反馈进行强化学习的方法有助于改进以前的人工智能模型。

o1就是OpenAI采用这种改进方法的结果。 o1模型在训练过程中会花更多的时间“思考”大语言模型处理过的数据，然后再给出答案。这意味着即使不修改底层模型，只要在回答用户问题时提供额外的计算资源，o1模型的响应质量就可以持续提高。据知情人士透露，如果OpenAI能够不断提高底层模型的质量，即使速度较慢，也能显着提高推理效果。

“这为我们提供了一个全新的扩展维度。”布朗在 TED AI 会议上表示，研究人员可以通过将每次查询的成本从 1 美分增加到 10 美分来提高模型响应的质量。

Altman 还强调了 OpenAI 推理模型的重要性，它可以与法学硕士相结合。奥尔特曼说：“我希望推理能力能够释放我们多年来一直等待实现的许多能力，例如，让这些类型的模型能够贡献新的科学知识并帮助编写更新、更复杂的模型。”在 10 月份为应用程序开发者举办的活动中。复杂的代码。”

但两名知情员工表示，O1模型目前的成本是非推理模型的六倍，因此并没有广泛的客户群。

与此同时，O1车型的安全性也受到了很多人的诟病。 《自然》杂志曾表示，在评估过程中，他们发现O1有时会遗漏关键的安全信息，比如没有强调爆炸危险或推荐不合适的化学品。控制方法。

值得一提的是，OpenAI安全系统团队负责人Lilian Weng在工作近7年后于近日宣布将离开OpenAI。