算力成本

02-20科技

梁文鋒親自參與！DeepSeek發最新論文迎戰Grok-3 專家：給開源AI研究帶來最新貢獻

馬斯克周二 (18 日) 發表 Grok-3，號稱「地球上最聰明 AI」，而近期爆紅的 DeepSeek 也沒閒著，在當天發表名為《Native Sparse Attention： Hardware-Aligned and Natively Trainable Sparse Attention》的一項重要論文，介紹一種新的稀疏注意力機制(Natively Sparse Attention，NSA)，用於提升長文本訓練和推理的效率，並具備硬體對齊和端到端訓練的特性。