小米投入百亿建设GPU万卡集群,加速AI大模型研发与科技巨头竞争
12月26日,据界面新闻等报道,小米开始自建GPU万卡集群,并将大力投入大型AI模型。小米大模型团队成立时已经拥有6500颗GPU资源。 《每日经济新闻》记者就此事向小米求证,但截至发稿尚未得到回应。
万卡集群是指由10000个或更多加速卡(如GPU、TPU或其他专用AI加速芯片)组成的高性能计算系统,用于训练基础大型模型。万卡集群的建设耗资“数百亿”,其中仅GPU采购成本就高达数十亿元。
各大科技公司竞相投资万卡集群建设。国际上,OpenAI、Meta等科技巨头争相部署万卡集群;国内,运营商、互联网龙头企业、大型AI研发企业纷纷入局,有的巨头甚至开始向“十万卡集群”迈进。
如果小米打造万卡集群的消息属实,独立电信分析师付亮分析称,小米将大车型视为“人车之家”战略的重要支撑,其打造万卡集群的方向可能与小米不同。其他公司。 “别人没有利用率,小米有自己的利用率。”
“万卡集群”被视为新一轮大型模特大赛的“门票”
建设万卡集群需要巨大的财力。
百度集团执行副总裁、百度智能云事业群总裁沉斗今年9月介绍,GPU集群具有极致规模、极致“高密度”、极致互联三大特点。搭建万卡集群,仅GPU的采购成本就高达数十亿元。构建 10,000 个卡的 GPU 集群时面临的风险之一是故障率。沉斗说:“Meta 训练 Llama3 时,使用 16000 个 GPU 卡的集群平均每 3 小时就会失败一次。”
虽然成本较高,但“万卡集群”使得训练复杂的大模型成为可能,被业界视为本轮大模型竞赛的“门票”。
“模型大小和训练数据量已成为决定模型能力的关键因素。在相同的模型参数和数据集下,集群训练时间有望显着缩短。更大、更先进的集群可以及时响应市场趋势总体而言,超过10000张卡的集群将有助于压缩大模型的训练时间,实现模型能力的快速迭代,及时响应市场趋势,实现大模型的赶超和领先。模型技术,”研究解释道长江证券报告。路。
作为一家专注于设备、设备的科技公司,小米集团多次提到自研大机型与设备、设备的融合。
2023年5月,小米集团业绩公告显示,于当年4月正式成立AI实验室大模型团队,拥有AI领域相关人员1200余人。它将持续探索AI相关的用户场景,充分发挥技术优势,用开放的态度与合作伙伴一起探索更多机会。
2023年8月,小米集团公告显示,AI是公司长期投入的底层赛道。小米自研的60亿参数大模型在同参数类别中排名第一。
2023年11月,小米透露将把AI大模型与小米ThePaper OS深度融合,基于终端侧大模型为用户提供各种便捷、智能的功能。
小米集团财报显示,今年前三季度,小米集团调整后净利润(非国际财务报告准则计量)为189.18亿元,同比增长31.7%。在当前经营稳定、盈利能力提升的基础上,扩大算力投入也成为一种选择。
部分万卡集群已投产,终端侧拥抱AI已成为共识。
目前,多家龙头企业竞相投资建设万卡集群。
运营商是我国计算基础设施建设的支柱。中国移动呼和浩特、哈尔滨两大万卡智能计算中心已投入运营。中国电信上海、北京两个万卡集群已投入生产。
国内,百度等公司已经在讨论如何打造10万卡集群。今年9月,沉斗在百度智云大会上表示:“更多10万卡集群很快就会出现。”
据报道,海外领先的人工智能厂商的步伐更加激进。 OpenAI正在设计一种可以连接1000万个GPU的计算模型,到今年年底Meta将拥有35万个H100。
国内主要设备端厂商很少投入巨资建设万卡集群,但设备端和侧拥抱AI却是共识。不久前,理想汽车创始人李想在接受采访时提出,理想汽车不再只是一家汽车制造公司,而是一家人工智能公司。
今年端端AI呈现爆发式创新趋势。
以手机为例,AI能力将在未来竞争中发挥重要作用。今年10月,当被问及如何看待AI时代的智能手机竞争时,vivo副总裁、AI全球研究院院长周舟表示,AI将为传统手机厂商提供更多的发展空间。自主研发,意味着更大的自主研发空间。多种个性化机会正在出现。未来,人工智能将成为各厂商手机产品体验差异的分水岭。
家电行业也展开了大型AI模型的竞争。美的集团、海尔智家等领先家电企业纷纷推出AI大机型。在大机型的加持下,AI电视、AI洗烘一体机、AI厨电、AI扫地机、AI净水器、AI家庭机器人等纷纷推出。被推向市场。
小米集团拥有手机、家电、智能驾驶等众多终端产品。不过,独立电信分析师付亮对《每日经济新闻》记者表示,小米不应该被理解为一家硬件制造商。小米在生产手机的同时,一直是一个活跃的互联网平台。付亮表示,小米认为大车型是其“人车”战略的重要支撑。如果它打造万卡集群,方向会和其他公司不一样。 “别人没有利用,小米有自己的利用。”
发表评论
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。