輝達台日推NIM微服務 和碩、欣興率先採用

輝達 (NVDA-US) 今 (27) 日宣布推出四款全新 NVIDIA NIM 微服務，可為台灣與日本地區需求量身打造，並按照當地語言和文化傳統，準確理解和改善的回應，強化與使用者的互動，讓開發人員能夠更輕鬆地建置與部署高效能的生成式 AI 應用，台廠包括和碩、欣興、長春集團都已採用。

輝達指出，世界各國都在追求發展主權 AI，利用自己的運算基礎設施、資料、勞動力及商業網路來發展 AI，以確保 AI 系統符合當地的價值觀、法律與利益，透過微服務可支援當地常用的各種模型。

根據 ABI Research 的資料顯示，光是在亞太地區，預計到 2030 年時，生成式 AI 軟體的營收將從今年的 50 億美元成長到 480 億美元。

使用日文資料訓練出的 Llama-3-Swallow-70B，以及用國語資料訓練出的 Llama-3-Taiwan-70B，都屬於區域語言模型，可以更深入瞭解當地法律、法規和其他習俗。

輝達微服務是建立在 Mistral-7B 模型上的 RakutenAI 7B 系列模型，投入英文和日文資料集進行訓練，並且可以當成用於對談 (Chat) 和指令 (Instruct) 的兩種不同的 NIM 微服務提供給外界使用。樂天 (Rakuten) 的基礎和和指令模型在開放的日文大型語言模型中取得亮眼成績，今年 1 至 3 月進行的 LM Evaluation Harness 基準中，平均分數名列前茅。

輝達認為，使用一個地區的語言訓練大型語言模型 (LLM)，能夠更好地理解和反映文化與語言上的微妙之處，有助於確保進行更加精準細緻的溝通，創造出更有效果的輸出內容。與 Llama 3 等基礎 LLM 相比，這些模型在理解日語和國語、處理當地法律任務、回答問題，以及語言翻譯和總結方面的表現相當優異。

從新加坡、阿拉伯聯合大公國、韓國和瑞典，再到法國、義大利和印度，世界各國均投注心力發展主權 AI 基礎設施。全新 NIM 微服務讓企業、政府機構和大學可以在自己的環境中託管原生 LLM，使得開發人員能夠開發先進的 AI 輔助功能 (copilots)、聊天機器人和 AI 助理。

輝達 AI Enterprise 提供的微服務，為利用 NVIDIA TensorRT-LLM 開源函式庫推論最佳化。適用於 Llama 3 70B 的 NIM 微服務可提供高達 5 倍的輸出量，而 Llama 3 70B 是全新 Llama-3-Swallow-70B 與 Llama-3-Taiwan-70B NIM 微服務的基礎模型，可以降低在生產環境中運行模型的總成本，又能減少延遲，讓使用者享受更好的操作體驗。

輝達看好，利用 NIM 可更快讓生成式 AI 產生出更精準的結果，並能夠加速部署、提升整體效能，且為全球各產業的組織提供必要的安全性，這些產業包括醫療保健、金融、製造業、教育與法律。

台灣領先醫療體系之一的長庚紀念醫院目前正在建置該院專屬的 AI 推論服務 (AIIS)，以集中管理醫院體系內的所有 LLM 應用。長庚醫院使用 Llama 3-Taiwan 70B，提供患者能夠理解更細膩的醫療語言，提高第一線醫護人員的工作效率。

長庚紀念醫院醫療人工智能核心實驗室主任郭昶甫醫師表示，即時提供適合情境的指導，以當地語言 LLM 建立的 AI 應用能夠簡化工作流程，並且當成持續學習的工具，作為支持員工發展與提昇病患照護品質。而 NVIDIA NIM 的工具簡化了這些應用程序的開發，用最少的工程專業知識，輕鬆存取與部署以當地語言訓練的模型。

台廠和碩 (4938-TW) 也預計採用 Llama 3-Taiwan 70B NIM 微服務來開發供內部及外部使用的應用，並將這款微服務與旗下的 PEGAAi Agentic AI 系統進行整合，以達到流程自動化，提升製造與營運效率。

全球石化產品製造商長春集團、全球領先的印刷電路板公司欣興 (3037-TW)、科技媒體公司科技報橘、線上合約服務公司律果科技，以及生成式 AI 新創 APMIC 同樣正在使用 Llama-3-Taiwan 70B NIM。這些公司也在開放模型上進行合作。