輝達RTX Spark筆電開賣！大模型暴瘦85% 740億參數塞進22.1GB

輝達(NVDA-US)開放了Nemotron 3.5 Bolt的模型權重。原本約148GB，一口氣砍掉約85%，瞄準24GB級本地部署。

Ollama已經給出接入OpenClaw的入口。AI代理在本機讀文件、改代碼，負責推理的大模型也可以在本機運行，少了一趟趟往雲端跑。

模型放出來，電腦也開賣。10月16日，搭載RTX Spark的筆電全球發售，聯想、微軟等廠商的新機正式登場。

大模型和新電腦，黃仁勳一起端出來了。一句「幫我改下程式碼」，到了代理那兒，往往得忙活好幾輪。先讀文件、找位置，再動手改，執行報錯了，還得回頭重來。

每走一步，背後的模型都可能要再想一輪。如果推理全在雲端，這些請求就得來回跑。Bolt想接下的，就是這些可以留在電腦上的日常工作。它每次生成token激活約90億參數，但740億參數的家底都在。工具調用、圖片和影片輸入也都支援，程式碼和圖表都能交給它讀。

訓練時，團隊就讓它進入模擬環境練習工具操作，學習少繞彎、少做無用功。代理少走一次彎路，螢幕前的人就少等一輪。

最終量化版Bolt，在考驗終端操作的Terminal-Bench 2.1拿到50.98%，在考驗上網找資訊的BrowseComp拿到66.75%。這兩項都是代理執行任務時不可或缺的能力。

Ollama已經列出OpenClaw、Hermes等框架的啟動入口。開發者可以給熟悉的代理換上本地模型，聯網搜尋照常聯網，推理則交給自己的電腦。

這樣，文件、工具和負責推理的模型，就能在同一台電腦上碰頭。龍蝦在本地工作，大腦也有了本地的住處。

148GB壓成22.1GB！大模型暴瘦85%

Bolt的底子，來自這次一起發布的1200億參數Nemotron 3.5 Super VL。後者每次激活120億參數，面向企業代理，圖表、文件、影片都能讀，看完還能調用工具接著工作。

企業還可以拿自家資料繼續訓練它。到了財務平台Ramp手裡，它就被派去辨識收據，把商戶、日期和付款資訊整理成程式能讀取的資料。報銷時那些磨人的抄抄填填，正好讓它接手。

輪到Bolt，團隊要讓這位「大哥」住進筆電。先動模型結構，從1200億參數壓到740億，再把受損的能力練回來。

麻煩出在看螢幕上。前面的壓縮只動了語言部分，恢復訓練也先保文字能力；原來的視覺模組接回來，和這副縮小的底子還得重新磨合。

讓它按指令在螢幕上找目標，問題就暴露了：ScreenSpot Pro這項測試，父模型得分41.6%，剛壓縮完、還沒補視覺訓練的Bolt卻掉到了0。

於是，團隊先用每輪約660萬張圖像訓練視覺適配器，再做視覺任務微調，把成績拉回39.79%。瘦身省下的空間，差點把「眼力」也一起省掉了。

眼力補回來了，體積還沒過關。740億參數按BF16精度保存，光權重就約148GB，連最高128GB統一記憶體的RTX Spark筆電也裝不下。

接下來，每個參數也得少佔點地方。佔大頭的專家權重被壓到約2bit，其他部分保留不同精度，再用「量化感知蒸餾」向教師模型補課，盡量追回精度損失。權重終於瘦到22.1GB。

這組實驗裡，同樣的記憶體預算下，先把大模型練好再瘦身，反而比從頭練小模型、再做4bit量化留下了更高的準確率。

裝得下，還得跑得快。Bolt請來一個叫LiLiCorr的小模型先打草稿，主模型再成批驗收，減少逐個生成token的等待。

在輝達的程式碼生成測試中，搭載RTX Spark的128GB版Surface Laptop Ultra，讓Bolt跑到了約84token/s。

真正配電腦時，還要給快取、視覺模組和加速小模型留位置。按Unsloth的短上下文建議，32GB記憶體或統一記憶體可作為規劃起點，48至64GB更寬裕，22.1GB只是權重的帳單。

RTX Spark的電腦已經開賣，接下來就輪到這些模型上場。Blackwell RTX GPU和Grace CPU整合在一顆超級晶片裡，CPU與GPU共用最高128GB統一記憶體。

模型拼命瘦身，電腦這邊也得騰地方。兩邊一起往前推，本地代理才更容易跑起來。

Artificial Analysis拿了一款更大的模型來試這道門檻。Ling 3.0 Flash量化後，光權重就有77GB。

測試中的64GB MacBook Pro和32GB顯示記憶體的RTX 5090都裝不下，128GB的RTX Spark筆電還能繼續跑。

旗艦顯示卡也會遇到這種尷尬：算得再快，模型太大，照樣進不了門。到了本地AI這裡，挑電腦還得看看它的「肚量」。

輝達也把OpenClaw和Hermes列進了發售時的應用生態，並提供引導安裝。想讓更多人養上龍蝦，第一關總不能先考環境配置。

養龍蝦之餘，這台電腦也得照顧原來的工作。RTX Spark首發支援數百款遊戲，Photoshop和Premiere的原生支援也透過首發測試版提供，處理完AI任務，還能接著剪片、玩遊戲。

連740億參數都嫌大，還有更小的一檔。Nemotron 3.5 Bolt E4B 4GB計畫10月23日推出，面向本地語音助理、互動角色等場景。

Super VL接企業裡的複雜工作，Bolt把日常代理任務搬進筆電，E4B再去照顧更輕巧的設備。這一家子，分頭上班。

黃仁勳的算盤也很清楚：開放模型，讓更多AI任務用上使用者手邊的GPU；新電腦開賣，再把這份需求接過來。