2.78兆參數 Kimi K3 實現 8GB 記憶體運行，開發者開源輕量 C 推理引擎

BlockBeats 消息，8 月 8 日，有開發者近日開源項目 kimi-k3-in-c，嘗試讓擁有 2.78 萬億參數的 Kimi K3 模型在僅 8GB 內存的設備上運行。該項目僅 176KB，採用純 C99 編寫，不依賴 GPU、CUDA、PyTorch 或 BLAS，僅通過 CPU 即可完成模型推理。

該方案利用 Kimi K3 的 MoE（混合專家）架構特性。雖然模型總參數規模達到 2.78T，但每層 896 個專家中僅啟動 16 個，因此開發者沒有將完整約 1.56TB 模型權重加載進內存，而是將大部分專家權重存儲在 NVMe 硬盤中，根據推理需求實時讀取；同時，部分密集層（dense trunk）也採用逐層流式加載方式。

不過，該方案目前仍存在明顯性能限制。在 8GB 內存模式下，模型生成一個 token 大約需要 32.7 秒，同時需要接近 1.7TB 高速存儲空間支持。

開發者表示，這一方案目前更像是對大模型推理基礎設施優化方向的一次實驗探索，並不具備實際生產使用價值，但其通過「硬盤流式加載+MoE 稀疏啟動」的方式，為未來低成本運行超大規模模型提供了一種新思路。

原文連結

發佈者對本文章的內容承擔全部責任
在投資加密貨幣前，請務必深入研究，理解相關風險，並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。