條件記憶
近日,DeepSeek AI 團隊在梁文鋒的帶領下發表了一項突破性研究,提出名為「條件記憶」的全新稀疏性維度,透過創新的 Engram 模組有效解決了 Transformer 模型在知識檢索方面的固有低效問題。該研究為大模型架構設計開啟了與混合專家模型 (MoE) 互補的新方向。
2026-01-13
近日,DeepSeek AI 團隊在梁文鋒的帶領下發表了一項突破性研究,提出名為「條件記憶」的全新稀疏性維度,透過創新的 Engram 模組有效解決了 Transformer 模型在知識檢索方面的固有低效問題。該研究為大模型架構設計開啟了與混合專家模型 (MoE) 互補的新方向。