APP下载
APP二维码
联系我们
APP二维码
返回

蚂蚁集团AI新突破:百灵大模型训练成本降低,国产GPU实现高性能应用

来源:网络   作者:   日期:2025-03-24 23:08:19  

在阿里巴巴首席执行官Wu Yongming宣布将完全“ AI”将完全“ AI”之后,与阿里巴巴相关的蚂蚁集团最近也一直在AI中持续进行动作。

如今,为了回应有关Bailing Big Model的培训成本的报告,Ant Group每天都会尽快对科学和技术创新委员会做出回应:Ant继续调整不同的芯片,以降低AI应用的成本。它已经取得了一定的进步,并将通过开源逐渐分享。

Ant Group在本月发表的最新研究论文表明,它已经推出了两个不同尺寸的大型语言模型 - ling-lite和ling-plus。前者的参数量表为168亿(激活参数为27.5亿),加基基本模型参数量表高达2900亿(激活参数为288亿)。实验表明,它的3000亿参数MOE模型可以使用国内GPU在低绩效设备上进行有效培训,并且其性能与NVIDIA芯片的完全使用,相同规模和MOE模型的密集模型相媲美。

根据该论文,尽管DeepSeek,Alibaba Tongyi Qianwen,minimax和其他系列的Moe大型模型在特定任务中表现出色,但MOE模型的培训通常依赖于高性能计算资源(例如高级GPU,例如Nvidia H100/H800),以及高成本限制了高度限制了Poasting in Compuctions in Resource-cormusitions在资源中的应用程序。同时,NVIDIA近年来继续缺乏高性能芯片。相反,低性能加速器更实惠,独立成本较低。这种差异突出了需要建立一个技术框架,以在跨分类计算单元和分布式簇之间进行无缝切换。

因此,ANT团队设定的目标是“不使用先进的GPU”来扩展模型,在模型培训环境,优化策略,基础架构,培训过程,评估结果,推理等上进行优化和实施,旨在破坏资源和预算约束,以实现有效的大型模型培训。

和信智能一体pos机__蚂蚁微客怎么发布任务

Ant Ling团队在五个不同的硬件配置上预先训练了9万亿个令牌。其中,使用高性能硬件配置的培训预训练成本为1万亿代币约为635万元,但ANT的优化方法将降低使用低规格硬件的培训成本,达到508万元人民币,节省了近20%的成本,并最终与Alibaba Tongyii Qweyi Qweyi Qwewen2.5--72-inst.5-72-inst-inst.5-72-inst-Inst an DeepSeek-V2.5-1210-Chat。

作为由Ant Group建立的大型大型模型,Bailing大型模型着重于生活服务,金融服务,医疗和医疗保健方案的应用。将来,计划将蚂蚁lark大型ling-plus和ling-lite成为开源。

最近,Ant Group经常增加对人工智能领域的投资,其中医疗是主要的关键方向。 3月21日,ANT Group宣布了医疗机构,医生和用户的三端升级最新的AI产品系统。其中,对于医疗机构,它与华为医疗和健康军团,阿里巴巴云等人共同推出了“蚂蚁医疗大型型号全合身机器”。它已发布了AI医生助理系列工具,适用于290,000名注册医生在线上的注册医生;同时,为用户提供服务的“ AI健康经理”也启动了十多种新功能,例如智能思维和健康自我测试。

此外,蚂蚁组还在扩展其压纹智能和AI眼镜。

Ant Group已注册并建立了上海Ant Lingbo Technology Co.,Ltd。是Ant Group扩展其体现的情报和机器人业务的主要载体,Ant Lingbo Technology将帮助上海pudong加速技术领导力,工业凝聚力,工业凝聚力和工业高级行业,并建立了一家家族,医疗,医疗,医疗,健康,健康,健康,医疗,医疗,智力,并创造了一体,由人形机器人领导的具有行业影响的生态系统。

招聘信息显示,蚂蚁集团最近正在为AI智能眼镜招募产品专家,需要2C产品的经验。 “每天的科学与技术创新委员会”从与蚂蚁集团附近的人们那里获悉,蚂蚁确实在不久的将来正在扩大与智能眼镜相关的业务。

分类: 股市
责任编辑: admin
版权声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。

发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。