DeepSeek发布原生稀疏注意力技术论文，创始人梁文锋共创研究新突破

同时，记者注意到，在本文的签名中，DeepSeek的创始人Liang Wenfeng也被列为共同创造者。

DeepSeek发布了最新的技术论文报告

记者注意到，在论文“本地稀疏注意力：硬件一致且本地可训练的稀疏注意力”中签署了DeepSeek的创始人Liang Wenfeng，也是共同创建的列表。

根据论文摘要，DeepSeek团队表示，该行业越来越了解长篇文化建模对于下一代大型语言模型的重要性。但是，随着序列长度的增加，标准注意机制的高复杂性成为临界延迟瓶颈。

据报道，通过有效的长期处理能力，NSA使该模型能够直接处理整个书籍，代码仓库或多轮对话（例如千轮客户服务方案），从而在文档领域扩展了大语言模型分析，代码生成，复杂的推理等。应用范围。

NSA使用优化的现代硬件设计来提高推理速度，同时降低预训练成本而不牺牲性能。它在一般基准，长文本任务和基于教学的推理中实现或超过了全部注意模型的性能。稀疏的注意力为提高效率的方向提供了一个有希望的方向，同时保持模型功能。

网民评论说：“稀疏的注意机制确实可以减少开销的计算。尽管DeepSeek的NSA架构是新颖的，但在实际部署中，它也取决于特定的应用程序方案和硬件优化，并且不仅要查看视图的数量。”

“开源”搅动了AI迭代的一波

1月20日，DeepSeek推出了人工智能模型DeepSeek-R1。从那以后，DeepSeek在互联网上广受欢迎。

2月18日，大型型号启动步骤yuexingchen打开了两个步骤系列多模式大型模型-Spep-Video-T2V视频生成模型和Step-Audio语音模型。 Jieyuexingchen说，AGI的实施不能与全球开发商的共同努力分开。 Jieyuexingchen开源的最初意图是与您分享最新的多模式大型技术成就，并为全球开源社区贡献一部分。力量。

专注于开源，还不断建立和改进相关的生态学。

一个相关的Sensetime的相关人员表明，开发人员的一站式开源代理应用程序开发框架Lazyllm将在2025年的全球开发人员先驱会议上亮相。据报道，该框架以数据为中心，并支持应用程序开发过程中数据的连续迭代，从而不断提高数据效率。该框架还可以使开发人员能够通过精致的模块设计和直观的代码样式更快地实施想法和产品。

“为了提供更好的价值，Sensetime将保持产品开放性，并访问更多更好的模型。”一位负责Sensetime的相关人员说，随着AI技术的持续迭代，AI商业化的最终重点仍然是客户价值。 。更好地为C-End和B-End用户提供服务尤其重要。

技术迭代仍然是大规模企业研究的关键。 “目前，团队正在加速基础生态的独立创新。该团队将加速'线性注意力'机制的优化，并将继续建立多模型。”一位负责Minimax的相关人员（上海Xiyu Technology Co.，Ltd.）告诉记者，高水平模型的连续开源可以使更多的人免费体验出色的大型大型模型的技术能力，这将进一步增加AI的AI渗透。

“作为中国一家大型模型公司，Minimax将继续保持开源，我们还期待允许更多的开发人员参与通过开源的非转换器（转换器）体系结构的基础生态系统的创建。”一个相关的人说，最小人士。今年1月，Minimax发布并开放了新一代的01系列人工智能模型。这一系列模型实现了突破性的创新，突破了变压器对“线性注意”机制的大规模应用的记忆瓶颈。