推理

08-28科技

近日，在 Hot Chips 2024 大會上，美國 AI 晶片新創公司 SambaNova 首次詳細介紹了其 AI 晶片系統—基於可重構資料流單元 (RDU) 的 AI 晶片 SN40L。據媒體報導，基於 SambaNova 的 SN40L 的 8 晶片系統，可以為 5 兆參數模型提供支持，單一系統節點上的序列長度可達 256k+。

08-28美股

總部位於加州的人工智慧新創公司 Cerebras 今天推出了 Cerebras Inference，聲稱這是世界上最快的人工智慧推理解決方案。Cerebras 在部落格文章中表示：「Cerebras Inference 為 Llama3.1 8B 提供每秒 1800 個 token ，為 Llama3.1 70B 提供每秒 450 個 token ，這比 NVIDIA (NVDA-US) 基於 GPU 的超大規模雲端快 20 倍。

07-13美股雷達

聊天機器人 ChatGPT 開發商 OpenAI 正在開發嶄新的人工智慧 (AI) 模型技術，代號為「草莓」(Strawberry)」，旨在大幅提升 AI 的推理能力，「像人類一樣看待和理解世界」。根據知情人士和路透社取得的內部文件，「草莓」項目正在 OpenAI 內部的多個團隊進行開發。