AI推理时代来临：从预训练到深度推理的转变与未来展望

“AI预训练的时代无疑将结束。” OpenAI 联合创始人、前首席科学家 Ilya Sutskever 在温哥华 NeurIPS 会议上直言。

今年5月离开OpenAI后，Ilya Sutskever创立了自己的AI实验室Safe Superintelligence。此后他就很少在公开场合露面，直到这次亮相。

在这次演讲中，Ilya Sutskever 将数据与最终会耗尽的化石燃料进行了比较。 “计算能力在增长，但数据并没有增长，因为我们只有一个互联网……我们已经达到了数据峰值，不会有更多的数据，我们必须处理现有的数据。”

现有的数据仍然可以驱动AI的进一步发展，业界也在尽力挖掘新的数据用于训练。这种情况最终将迫使行业改变当前训练人工智能模型的方式。

预计下一代AI模型将是真正具有推理能力的AI Agent——目前的AI主要是根据大模型之前学到的知识进行匹配，而未来的AI将能够在一种更接近思考的方式。解决问题。 “他们可以根据有限的数据来理解事物，并且不会感到困惑。”他补充说，人工智能的原因越多，预测就越困难。

某种程度上，Ilya Sutskever的说法与OpenAI近期的表态和最新趋势不谋而合——利用推理来弥补数据瓶颈。

在 11 月底的一次路边谈话中，OpenAI 的研究高级副总裁 Mark Chen 否认扩展法则已经碰壁。他说，“我们准确地抓住了需要解决的技术挑战。” OpenAI已经有两个模型，o系列和GPT系列，让模型能够继续扩展。

其中，OpenAI最近发布的o1模型就是推理模型。它最突出的特点就是它的“推理”：在给出答案之前，o1可以思考，通过生成一条长长的内部思维链（CoT），一步步推理，模仿人类思考复杂问题的过程。

这个过程也比较符合Ilya Sutskever所说的“以更接近思考的方式一步步解决问题”。

或许对于普通用户来说，o1模型的这种转变并不容易察觉，但大西洋月刊指出，研究人员已经意识到，与GPT等旧模型相比，o1模型不仅仅是简单的升级，而是标志着“彻底改变”。不同的游戏规则”和“真正的进步”。

▌AI推理时代已经来临？

预训练时代或许即将结束，但在AI算力“跷跷板”的另一端，推理正在兴起。

连日来，多家券商研报指出，随着端侧AI体量的增加以及豆宝、ChatGPT等AI应用的快速发展，对算力的需求将加速从预训练转向推理。推理有望接力训练并成为计算的下一阶段。电力需求的主要驱动力。

此外，随着大规模AI模型的普及，推理需求不断扩大且更加多元化，定制芯片的需求也有望扩大。

巴克莱的另一份报告预测，AI推理计算需求将快速增长，预计将占通用人工智能总计算需求的70%以上。推理计算的需求甚至可以超过训练计算的需求，达到后者的4.5倍。 NVIDIA GPU目前占据推理市场约80%的份额，但随着大型科技公司的定制ASIC芯片不断涌现，预计到2028年这一比例将下降至50%左右。

博通上周发布的财报也证明了对ASIC的强劲需求：该公司2024财年人工智能营收增长220%，达到122亿美元；预计2025财年第一季度AI产品收入将同比增长65%。博通还透露，目前正在与三个非常大的客户一起开发AI芯片，并预计明年该公司AI芯片的市场规模为150亿美元至200亿美元。

随着谷歌、AWS等科技巨头加大定制化AI芯片的研发投入，以强化自身在人工智能领域的技术优势和供应链控制力，国金证券今日研报指出，这一趋势不仅帮助企业应对日益复杂的AI需求，也推动了整个自研芯片赛道的高度繁荣和持续创新。未来，自研芯片将在AI推理和训练领域发挥关键作用，成为降低成本、提高效率、提升算力的重要手段。