AI 模型越大越好的局限性：科学家寻求新的训练技术

自从全球流行的聊天机器人 ChatGPT 发布以来，科技公司通过添加更多数据和计算能力来扩展和改进人工智能模型。但现在，一些最著名的人工智能科学家指出了这种“越大越好”方法的局限性。

人工智能实验室 Safe Superintelligence 和 OpenAI 联合创始人 Ilya Sutskever 近日表示，通过扩大预训练（使用大量未标记数据来理解语言模式和结构的 AI 模型训练阶段）所取得的成果已达到a 在平稳期，它对提高模型性能的帮助有限。

Sutskever 是通过在预训练中使用更多数据和计算能力来实现生成式 AI 巨大飞跃的早期倡导者，这最终导致了 ChatGPT 的创建。他于今年早些时候离开 OpenAI，创立了 Safe Superintelligence。

“那是一个规模化的时代，现在我们又回到了一个充满奇迹和发现的时代，”苏茨克韦尔说。 “每个人都在寻找下一个目标，这比以往任何时候都更加重要。”

此外，Sutskever 承认他的公司正在研究扩大预训练规模的替代方法，但没有透露更多细节。

新技术竞赛

所谓的大型模型“训练”需要同时运行数百个芯片，并且可能花费数千万美元。鉴于系统的复杂性，它们更有可能遭受硬件引起的故障；在测试完成之前，研究人员可能不知道这些模型的最终性能，这可能需要几个月的时间。

另一个问题是，大语言模型会消耗大量数据，而人工智能模型则耗尽了世界上所有容易获取的数据。电力短缺也阻碍了训练运行，因为该过程需要大量能源。

为了克服这些挑战，研究人员正在探索测试时计算，这是一种在所谓的推理阶段或使用模型时增强现有人工智能模型的技术。例如，模型可以实时生成和评估多种可能性，最终选择最佳的前进路径，而不是一次选择一个答案。

这种方法使模型能够将更多的处理能力投入到具有挑战性的任务中，例如数学或编码问题或需要类人推理和决策的复杂操作。

OpenAI研究员诺姆·布朗此前表示：“事实证明，要求机器人思考一副扑克牌20秒，与将模型放大10万倍、延长训练时间10万倍的效果相同。”

OpenAI 在其新发布的模型“o1”中使用了这项技术，而 Anthropic、xAI 和 DeepMind 等其他顶级人工智能实验室的研究人员也在研究自己的该技术版本。

OpenAI 首席产品 Kevin Weil 表示：“我们看到了很多唾手可得的成果，摘取它们可以让这些模型变得更好。当人们迎头赶上时，我们将努力开发新技术。”

许多科学家、研究人员和投资者认为，这项新技术可能会重塑AI军备竞赛，并对AI公司所需的各种资源产生影响。