【AI】字節豆包開源MoE關鍵優化技術,大模型訓練成本省四成

　　《經濟通通訊社10日專訊》據《證券時報》報道,字節豆包大模型團隊宣布開源一項針對MoE(混合專家)架構的關鍵優化技術,可將大模型訓練效率提升1.7倍,成本節省40%。據悉,該技術已實際應用於字節的萬卡集群訓練,累計幫助節省了數百萬GPU小時訓練算力。(sl)