AI推理
美股雷達
華爾街知名投資機構 Bernstein 周二 (16 日) 發布最新研究報告,深入剖析 AI 技術發展趨勢及其帶來的深遠影響。Bernstein 預估,到 2030 年,無比龐大的 AI 推理系統將催生上兆美元等級的「超級藍海」市場,這為聚焦於 IT 硬體與消費電子的大型科技公司帶來長期利多。
美股雷達
中國科技巨擘華為今 (12) 日在 2025 金融 AI 推理應用落地與發展論壇上正式發表 AI 推理創新技術 UCM(推理記憶資料管理器),並計劃下月正式開源 UCM。什麼是 UCM?解決 AI 回應慢又貴的問題想像一下,當你問 AI 問題時,它需要「思考」很久才回答,而且運算成本很高。
中國科技巨擘華為今 (12) 日在 2025 金融 AI 推理應用落地與發展論壇上正式發表 AI 推理創新技術 UCM(推理記憶資料管理器),並打算在下月正式開源 UCM。據了解,作為一款以 KV Cache 為中心的推理加速套件,UCM 融合了多類型緩存加速演算法工具,分級管理推理過程中產生的 KV Cache 記憶數據,可擴大推理上下文窗口,實現高吞吐、低時延的推理體驗,降低每 Token 推理成本。
2025-09-17
2025-08-13
2025-08-12