DeepSeek算力热潮持续:中国电信推出息壤智算一体机,支持多种国产AI芯片
科学技术创新委员会每天在一次采访中获悉,DeepSeek大型模型多合一的机器目前分为多合一的机器,培训和推动全合一的机器。 DeepSeek推断多合一机器具有不同尺寸的内置型号,例如DeepSeek-R1 32B,70B和全血型671B。价格范围从数十万到数百万。它主要针对对数据安全和数据隐私更敏感的企业用户。训练和推动多合一的机器的价格甚至更高,并且用于预训练和微调的DeepSeek-R1 32B型号的多合一机器价格达到数百万。
一些云技术人员认为,综合模型是否可以产生经济价值是关键。 “大型模型多合一的机器主要是在本地部署的,解决了数据隐私问题。未来,它仍然需要用于实现更大的发展。”
对DeepSeek模型的私人部署的需求
“服务器很忙,请稍后再试。”这是DeepSeek用户最近经历的日常生活。需求繁荣使DeepSeek保持了全面的运行。
在一次采访中,“科学技术创新委员会日报”的记者了解到,由于直接呼叫的不稳定,许多公司已经开始探索更简单的私有化部署,甚至使用了几张NVIDIA 4090图形卡来尝试部署DeepSeek- R1 32B至70B型号,
“一开始我们安装了70B型号,但是4090 24G图形卡无法运行,后来我们再次安装了32B型号。”企业信息部的一个人说。
“我们还通过NVIDIA图形卡部署了DeepSeek模型来进行业务运行。但是,大约100人的并发速度已大大降低,并且使用它用于内部知识库没有问题。如果它是其他应用程序,则它仍然需要专业的多合一机器。”另一个IT人表达。
记者从来自多个云计算制造商的相关人员那里学到了这些知识,在DeepSeek变得流行后,许多云制造商都收到了大量的用户查询。 “企业用户现在将在公共云上进行测试,以满足要求,然后考虑私有云部署,一对一的机器和其他形式。”来自经营者云的销售人员将其引入记者。
一位负责UCID的相关人员说,DeepSeek开源模型改编完成并启动后,云上的访问和使用次数急剧增加。除GPU云主机外,其他支持产品还相应增加,例如并行文件存储UPFS,Umodelverse Model Service平台,微调服务平台等。我们还根据DeepSeek依次接受了私有化和部署的需求开源模型,例如多合一,专有云和全面的家庭化。
数百万的投资成本是一个障碍
选择私人部署的企业通常对数据安全有很高的要求,但是大型型号的多合一机器的硬件投资通常是一百万,这对许多公司来说是一个门槛。
目前,中国电力信息地面智能计算机深色版本分为两种类型:训练和推动多合一的机器和推理多合一的机器。它具有入门级,多功能和增强的配置,价格在数十万和数百万之间。然后,最高的全型推理多合一机器的折扣价为近600万元,而培训和促销的多合一机器甚至更高。 “科学技术创新委员会每天”从内部人士那里获悉,JD Cloud的DeepSeek Big Model多合一机器的价格也从数十万到数百万。
“我们必须通过私有化部署它,安全性是第一个优先级。但是,大规模多合一机器的投入输出不是成本效益。我们以前尝试过,但是输入输出的实现已被暂停。”大型企业负责信息技术。人们说。
许多IT行业内部人士认为,DeepSeek Big Model的最大优势在于开源和低成本。通过国内芯片计算能力,AI大型模型的应用可以使中国能够在更多的领域和行业中快速实施AI应用程序,但是它仍然需要开发更大的发展才能使市场发展。 “决定企业中AI应用的深度和广度不是模型价格的原因,而是如何将内部知识加载到应用级别的广泛访问中的问题。大型型号的多合一机器主要是本地化的,以解决数据隐私问题和大型模型主要是在本地部署的。
谈论大型模型未来整合的市场空间,负责操作员云的相关人员每天都告诉科学技术创新委员会,如果它是医疗保健,教育等领域的工程项目,那么护理,聪明的教育和智能农业。将来,多合一的机器可能会在客户站点部署并连接到相关行业方案的知识库。然后,训练了与应用程序方案密切集成的AI模型,并将其集成到应用程序环境中,以向B端企业提供服务。
国内计算能力能否支持DeepSeek全血型版本的大型模型的部署?
“每天的科学与技术创新委员会”注意到,许多DeepSeek Big Model集成解决方案都使用国内计算功率芯片。
中国电力信息和农村智能计算多合一的机器 - 深度赛版本基于硬件级别的华为上升芯片,并提供了各种规格和型号,例如8张卡,16张卡,32张卡片,32张卡片等。 MU XI以DeepSeek Big模型共同发布了一个多合一的解决方案,“ Lenovo Server/Workstation + MU XI的培训集成了GPU +自主算法”作为核心体系结构。
JD Cloud的DeepSeek大型型号多合一机器支持国内AI加速芯片,例如华为Ascend,Haiguang,Cambrian,Moore Thread和Tianshu Intelligent Core。
一位负责UCD的相关人员告诉《科学与技术创新委员会》,它已经完成了DeepSeek全血版本的改编版,并与许多家庭芯片制造商一起完成了DeepSeek全血版本和蒸馏版开源模型。 “从测试用户的结果中,现在可以使用它。Youkede将来将继续与国内芯片公司合作,并在能够使用的基础上进行优化和易于实现,从而通过扩大使用量并实现来降低成本便宜使用它来改善国家生产的经验。”
负责人还指出,由于DeepSeek很长一段时间都没有开源,根据市场的使用惯性,NVIDIA的GPU卡仍然是中等大型AI公司使用的主流卡类型。 “将来,我们将继续与各种公司建立联系,并提供满足市场需求的各种AI资源。”
AI基础设施行业的一位内部人士告诉记者,主流国内芯片基本上已经获得了对DeepSeek蒸馏器版本小型型号的兼容支持,但是全血V4版和R1具有6710亿个参数,从而大大提高了他们的硬件需求。推理的解码部分部署了320 GPU,以实现完整的专家并行性。
“所有芯片公司都将进行DeepSeek全血式版本的改编,但是他们是否真的可以使用数百张卡片运行并实现更好的令牌速度和成本效益。差异很明显。”
发表评论
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。