〈AWS雲端年會〉SageMaker推四大新服務 模型訓練時間減40%

亞馬遜 (AMZN-US) 旗下 AWS 人工智慧與數據副總裁 Swami Sivasubramanian 今 (4) 日宣布 SageMaker 四大新服務，包括簡化客戶選擇最適模型的流程、自訂訓練時間表與預算、優化運算任務效率與開放合作夥伴 APP 支援，看好透過新服務加入，可減少模型訓練時間 40%。

Swami Sivasubramanian 說，隨著模型參數達兆級，也讓 AWS 重新思考運算設計的架構，除了硬體更新，也透過在 SageMaker HyperPod 上創新，讓客戶可以加速採用，降低進入門檻、縮短時間與減少預算來調整訓練任務。

細數四大服務更新，首先是簡化客戶選擇模型的流程 (New recipes)，Swami Sivasubramanian 表示，客戶大多利用普遍且公開的模型，如 Llama 和 Mistral 等，來進行客製化，不過，其往往需耗費數週來測試與優化訓練性能，來選擇最適合的模型。

AWS 為幫助客戶在幾分鐘內開始使用模型，推出 SageMaker HyperPod New recipes，一共開放 30 多個最受歡迎的公開模型給客戶使用，包括 Llama3.2 90B、Llama 3.1 405B 和 Mistral 8x22B，可大幅簡化客戶選擇模型的流程。

二是彈性的訓練計劃 (Flexible training plans)，其可以幫助客戶依照預算輕鬆調整訓練時間，如客戶可以指定預算、期望完成訓練的時間以及需要最大的計算資源，可有效降低訓練成本，同時提高效益。

三是優化運算任務效率 (Better task governance)，Swami Sivasubramanian 指出，越來越多模型訓練需要大量的加速運算能力，在運算資源有限且成本高昂下，該服務可確保運算資源優先用於最關鍵的模型開發任務。

四是 SageMaker 也支援合作夥伴的 AI APP，客戶可以運用 APP 追蹤和管理任務、評估模型品質、監控性能等，並直接在 SageMaker 中使用 APP，除了不需要將資料移出安全的工作環境，減少介面間切換時間。