推理成本
AI 領域再傳震撼彈！外媒引述知情人士消息報導，OpenAI 本月稍早內部展示一項重大技術突破，透過全新研發的優化方案，成功將模型推理成本削減超過一半，大幅提升算力使用效率。據悉，OpenAI 工程師向內部同仁展示，當將新技術應用於處理 ChatGPT 免費與付費帳號外的訪客請求時，所需的輝達高階 GPU 數量竟驟降至僅「數百顆」水準，與先前動輒需要數萬顆頂級晶片的規模相比，堪稱奇蹟。
AI 領域再傳震撼彈！外媒引述知情人士消息報導，OpenAI 本月稍早內部展示一項重大技術突破，透過全新研發的優化方案，成功將模型推理成本削減超過一半，大幅提升算力使用效率。據悉，OpenAI 工程師向內部同仁展示，當將新技術應用於處理 ChatGPT 免費與付費帳號外的訪客請求時，所需的輝達高階 GPU 數量竟驟降至僅「數百顆」水準，與先前動輒需要數萬顆頂級晶片的規模相比，堪稱奇蹟。