APP下载
APP二维码
联系我们
APP二维码
返回

DeepSeek开源周第二弹:DeepEP在GitHub上线,20分钟内获1000星收藏

来源:网络   作者:   日期:2025-02-25 22:05:08  

DeepSeek开源周的第二枚炸弹!

上周五,DeepSeek宣布将连续五天开放五个主要的软件库。今天,DeepSeek选择首先在GitHub上上网,然后在正式发布会上发布新通知。该公司今天宣布将向公众开放。宣布公告后约20分钟内,DeePep在Github,Microsoft(MSFT.US)等平台上收到了1,000多个星星收藏。

据报道,DEEPEP是MOE模型培训和推理的专家Parearallelisp沟通基础,它可以实现有效且优化的全面通信,以支持低头计算,包括FP8,适用于现代高性能计算。 DEEPEP还针对从NVLINK到RDMA的不对称带宽转发方案进行了深入优化,不仅提供了高吞吐量,而且还支持流媒体多处理器编号控制,从而在训练和推荐任务中实现了高吞吐量的性能。

此外,来自中国证券的记者在DeepSeek API开放平台上注意到,DeepSeek重新开放了API补给。 DeepSeek-Chat型号折扣期结束,呼叫价格已更改为每百万个输入令牌2元和每百万个产量令牌8元。以前,由于资源不足,DeepSeek曾经停止补给。

大发是什么公司__大发科技

Deepep向公众开放

今天是DeepSeek开源的第二天。他们在正式发布会上发布了一条消息,开放了Deepep的来源。

DeepSeek在其官方建议中介绍了它,并很乐意介绍Deepep的第一个开源EP通信库,用于MOE模型培训和推理。它的功能包括:有效的和优化的全到全面通信,以及通过NVLINK和RDMA在节点内和之间的支持,用于培训和推理的高通量内核,用于推理的预填充,低延迟核,以及本机FP8计划支持。 ,灵活的GPU资源控制,用于计算通信重叠。

根据数据,使用混合专家(MOE)体系结构的大型语言模型可显着提高模型容量,而无需相应的计算量增加。但是,这种方法也带来了挑战,尤其是在GPU之间的交流中。在MOE模型中,对于任何给定的令牌,只有一部分专家都活跃,因此对于在设备之间有效交换数据至关重要。传统的全能交流方法可以创造瓶颈,从而增加延迟和不足的GPU资源。在对潜伏期敏感的设置(例如实时推理)中,即使是较小的延迟也会影响整体性能。

专家认为,DeepSeek推出的DeePep是专为MOE模型和专家并行主义(EP)设计的通信库。 DEEPEP解决了GPU之间的调度和汇总令牌固有的效率低下。该通信库提供了高吞吐量,低潜伏期,全配对全GPU内核(通常称为MOE调度和组合核心),以简化培训和推理期间的数据交换。值得注意的是,DEEPEP支持低精度操作(包括FP8),这与DeepSeek-V3论文中详细介绍的技术一致。该版本直接解决了在内部和节点间环境中扩展MOE体系结构的挑战。

DEEPEP通过自适应配置进一步提高了灵活性。用户可以调整参数,例如所使用的SMS数量,或设置环境变量以管理流量隔离。当前由低延迟内核支持的自适应路由有助于在高负载下均匀分配网络流量,从而提高鲁棒性。

芯片需求显着增加

据路透社报道,在中国公司推出了低成本的人工智能模型DeepSeek之后,它大大提高了对中国市场中使用的NVIDIA人工智能芯片的需求。路透社引用熟悉此事的人们说,同一H20芯片的命令已经激增。

同时,中国医疗保健,教育和其他领域的较小公司也开始购买配备了DeepSeek人工智能模型和NVIDIA H20芯片的服务器。在此之前,只有拥有强大财务资源的财务和电信公司才能购买人工智能计算系统。

该报告说,尽管美国政府已经讨论了对中国的芯片出口限制的进一步收紧,这可能导致筹码订单激增,但熟悉此事的人们认为,DeepSeek是订单增加的主要原因。

实际上,除了DeepSeek外,阿里巴巴QWEN团队还宣布了今天早上在社交媒体上发布新的推理模型 - Deep Thinker(QWQ)。这是一个基于QWEN2.5-MAX的推理模型,由QWQ-MAX-PREVIEW支持。 QWQ可以同时支持深入思考和网络搜索,并将显示一个完整的思维链。 QWEN团队表示,QWQ-MAX的官方版本将很快发布,Android和iOS应用程序将同时发布,并且可以在QWQ-32B等本地设备上部署的较小型号。

这些模型的推出还将对计算能力有巨大的需求。如今,领先的智能计算公司Cambrian曾经上涨近5%,其股价超过818元。 GPU概念股票也再次上升,北京朱宁股(Junzheng)上升超过6%,而隆森·宗(Loongson Zhongke)上升了3%以上。

分类: 股市
责任编辑: admin
版权声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。

相关文章:

发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。