首页 - 科技 > DeepSeek发布最新NSA技术论文！创始人梁文锋参与引人注目！

DeepSeek发布最新NSA技术论文！创始人梁文锋参与引人注目！

发布于：2025-02-19 作者：凹凸曼 阅读：23

近日，DeepSeek在海外社交平台发布了一篇纯技术论文报告，其主要内容是关于NSA（即Natively Sparse Attention，原生稀疏注意力）。

与此同时，在论文署名中，第一作者袁景阳是在DeepSeek实习期间完成的这项研究。让人感到惊喜和意外的是，据论文署名排名，DeepSeek创始人梁文锋现身论文著作者之中，在作者排名中位列倒数第二。

DeepSeek发布最新NSA技术论文！创始人梁文锋参与引人注目

根据论文摘要，DeepSeek团队认为，业界越来越认识到长上下文建模对于下一代大型语言模型的重要性。然而，随着序列长度的增加，标准注意力机制的高复杂度成为了关键的延迟瓶颈。

据了解，NSA通过高效的长序列处理能力，使模型能够直接处理整本书籍、代码仓库或多轮对话（如千轮客服场景），扩展了大语言模型在文档分析、代码生成、复杂推理等领域的应用边界。

同时，NSA通过针对现代硬件的优化设计，在提高推理速度的同时、降低预训练成本，而不会牺牲性能。

它在通用基准测试、长文本任务和基于指令的推理中均能达到或超越全注意力模型的表现。

DeepSeek团队表示，稀疏注意力为提高效率同时保持模型能力，提供了一个有前景的方向。

公开资料显示，NSA（即Natively Sparse Attention，原生稀疏注意力）是一种用于超快速长文本训练与推理的、硬件对齐且可原生训练的稀疏注意力机制。

它专为长文本训练与推理设计，能够利用动态分层稀疏策略等方法，通过针对现代硬件的优化设计，显著优化传统AI模型在训练和推理过程中的表现。

DeepSeek发布最新NSA技术论文！创始人梁文锋参与引人注目

二维码

扫一扫关注我们

版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件至 3941001135@qq.com举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

上一篇：半导体人才争夺白热化！士气低落的三星员工成"香饽饽"！

下一篇：微软展示Edge最新改进：至少14处升级WebUI 2.0、速度暴涨40%！

相关文章

客服QQ：3941001135

客服邮箱：3941001135@qq.com

二维码

本站部分文字及图片均来自于网络，如有侵权请及时联系删除处理

Copyright © 2023 本站技术支持0571YP技术支持 苏ICP备2024129037号-1