Anthropic用Claude重寫核心API，CPU用量降低40%至50%

動察 Beating AI 快訊，Anthropic 平台工程負責人 Katelyn Lesse 在 Latent Space 訪談中透露，公司已經將 Messages API 從 Python 遷移至 Rust。改造後，API 服務的 CPU 用量據其估算減少約 40% 至 50%，首個 Token 的響應延遲改善約 10% 至 20%。

Messages API 是開發者調用 Claude 的主要接口。隨著請求量不斷增加，原來的 Python 單體服務越來越耗費 CPU，團隊決定直接用 Rust 重寫。但項目啟動時，負責遷移的小組連一名 Rust 工程師都沒有。

最終由 Claude 承擔主要代碼編寫，人類工程師負責架構設計和驗證。團隊先搭建完整的 Rust 版本，讓新舊系統處理相同請求，逐一比對輸出，再逐步把正式流量切換過去。過程中也招聘了幾名有 Rust 經驗的工程師。

Lesse 表示，過去這種規模的遷移通常要拆成多個階段，耗費數年。這次團隊直接完成了整套 API 的遷移，並已於 9 月全面上線。

原文連結

發佈者對本文章的內容承擔全部責任
在投資加密貨幣前，請務必深入研究，理解相關風險，並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。