# NVIDIA 發布 Nemotron 3.5 Lightning：30B MoE、3B 啟用參數，輸出速度最高 4 倍
> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)
> 原作者：NVIDIA AI (@NVIDIAAI) · 策展與摘要：EasyVibeCoding · 平台：X (Twitter) · 熱度：🔥🔥🔥 · 日期：2026-08-12
> 原始來源：https://x.com/NVIDIAAI/status/2087162151995629926
## 證據與延伸閱讀
- [NVIDIA 發布 Nemotron 3.5 Lightning：30B MoE、3B 啟用參數，輸出速度最高 4 倍](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4) — 官方文件
- [nvidia.com](https://developer.nvidia.com/blog/nvidia-nemotron-3-5-lightning-delivers-fast-accurate-specialized-task-execution-for-long-running-agents/) — 官方文件
- [nvidia.com](https://developer.nvidia.com/blog/route-ai-agent-workloads-across-models-with-nvidia-nemo-switchyard/) — 官方文件
- [NVIDIA 於 2026 年 8 月 11 日發布 Nemotron 3.5 Lightning](https://nvda.ws/4heK23m)
- [推出 NeMo Switchyard 開源模型路由庫](https://nvda.ws/457eK7l)
- [影片示範在 DGX Spark 上部署模型與執行 Agent](https://x.com/NVIDIAAI/status/2087171634117419357)
## 中文摘要
NVIDIA 發布 Nemotron 3.5 Lightning：30B MoE、3B 啟用參數，輸出速度最高 4 倍。
**核心摘要** NVIDIA AI 於 2026 年 8 月 11 日推出開放且可客製化的 Nemotron 3.5 Lightning，定位不是負責所有複雜推理，而是處理長時間 Agent 大量重複的工具呼叫、結果驗證與工作委派。NVIDIA 同日也發布開放原始碼模型路由程式庫 NVIDIA NeMo Switchyard，讓 frontier model 負責規劃與複雜推理，再把高頻執行工作交給 Lightning。
**模型定位** Nemotron 3.5 Lightning 是總參數 30B、每個 token 啟用 3B 參數的 mixture-of-experts（MoE）模型。MoE 會由 router 將每個 token 分派給少數專家，因此只需執行部分參數，就能以接近小型模型的計算成本提供較大模型的容量。NVIDIA 表示，它的輸出速度最高可達相近規模模型的 4 倍，適合部署在 NVIDIA DGX Spark 到資料中心的不同環境，也支援 NVIDIA Jetson 與 GeForce RTX 5090 等本機系統。
> Nemotron 3.5 Lightning 在小於 40B 參數的開放權重模型中展現極高輸出速度（每秒約 668 個 token），並維持 24 分的 Intelligence Index 指標，獨自進入最優象限。
**速度與準確度** NVIDIA 貼文指出，Lightning 在 PinchBench 達到 86% 準確度，完成 10,000 項任務時，比準確度相近的 Qwen3.6 35B 快 35%；相關技術文章則記載為快 30%，兩者數字並不一致。文章另稱，Lightning 在 Artificial Analysis Intelligence Index 的小型開放模型中位於準確度與速度的 Pareto frontier，輸出速度最高可達同規模模型的 4 倍。這些結果反映 NVIDIA 的核心取捨：Agent 效率不只看 token 生成速度，也取決於模型能多快完成可用工作。
> Nemotron 3.5 Lightning 在 PinchBench 達到 86% 的準確率，且完成 10,000 項任務的速度比同等準確率的 Qwen3.6-35B 快 35%。
**技術設計** 模型採用 Mamba + Transformer 的混合架構，預訓練使用超過 20T tokens，支援最高 1M context length，並提供 NVFP4 與 BF16 checkpoint。其加速設計包含 multi-token prediction（MTP）與 speculative decoding：模型先草擬多個 token，再有效率地檢查結果；同時提供適合 NVIDIA DGX Spark 與低並行度資料中心工作負載的 DSpark，以及可依工作負載比較的 DFlash。NVIDIA 也針對常見 Agent harness 進行訓練，目標是提高工具呼叫準確度並降低大量任務的延遲。
> Nemotron 3.5 Lightning 經過後訓練微調後，在資安、程式碼、法律及能源模擬等專業領域任務中的準確率顯著提升，並超越 GPT 5.4 Nano 與 Opus 4.8 等競爭模型。
**客製化與開放性** NVIDIA 表示，Nemotron 3.5 Lightning 的 weights、訓練資料與 recipes 都會以盡可能寬鬆的 OpenMDW-1.1 授權提供。開發者可以使用 NVIDIA NeMo 搭配 LoRA 或 full SFT 進行微調，也能透過 NVIDIA NeMo RL 與 NeMo Gym 執行 reinforcement learning、環境評估與 rollout。此次發布還包含 Nemotron-RL Agentic Terminal Pivot 資料集，用於訓練部分 coding Agent 能力。模型可從 [Hugging Face](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4) 取得，也能透過 build.nvidia.com 或 OpenRouter 試用。
> NVIDIA Nemotron 3.5 Lightning 在 Artificial Analysis Intelligence Index 取得 24 分，與 Nemotron 3 Ultra (38分) 及 Nemotron 3 Super (26分) 等共同展示開源模型家族的基準測試表現。
**模型路由** NVIDIA NeMo Switchyard 解決的是「單一模型不再足夠」的 Agent 架構問題。它會在執行期間查看請求、模型能力、成本、延遲、負載與 Agent 狀態，再將工作送到更合適的模型；對複雜任務可使用 frontier model，對例行工具操作則切換到 Lightning。影片畫面將流程拆成 MODEL POOL、SIGNALS、DECISION POLICY、EXECUTION 與 FEEDBACK 五個階段，並以「route、translate、observe」概括其工作方式，強調沒有 telemetry，正式環境的路由就只能靠猜測。
> 一名講者講解 NVIDIA NeMo Switchyard 的架構與動態模型路由機制
Switchyard 提供多種 router，包含不需特定工作負載訓練的 LLM classifier、stage router 與 escalation router，也支援從實際資料學習的 tunable router。stage router 會依近期工具活動判斷 Agent 正在探索、持續犯錯，還是進入穩定編輯階段；escalation router 則先使用低成本模型，偵測到持續困難、錯誤或 loop 後，再升級到能力更強的模型。其 provider-agnostic SDK 可維持 session 狀態、保存工具結果與路由決策，並透過相容 OpenAI、Anthropic 與 Responses API 的伺服器記錄選用模型、決策理由、token 使用量、延遲與呼叫結果。
> 一名男士正在操作懸浮的 Agent Prompt 介面，正中央透過綠色導向線連接三個帶有神經網路圖示的節點與多位 Agent 頭像，右側則是一個垂直的面板，上面顯示資料來源、對話記錄、行事曆與各項監控數據圖表。
**實測與示範** NVIDIA 引述 LangChain 的 145 項多輪 Agent 任務評估：讓 NVIDIA Nemotron 3.5 Lightning 與 Claude Opus 4.8 搭配 escalation router，在只將 7% 呼叫送往 frontier model 的情況下，成本比僅使用 frontier model 降低 74%，但準確度約少 6 個百分點。Cognition 在 Devin Desktop 導入 staged routing，於 FrontierCode Main 以 Opus 5 與 Kimi K2.7 分工，達到 50.6% 表現、平均成本 3.11 美元，準確度距離 Opus 5 約 2.8 個百分點，平均成本約低 28%。
> Nemotron 3.5 Lightning 在 PinchBench 達到 86% 準確率，完成 10,000 項任務的速度比類似準確率的 Qwen3.6-35B 快 35%。
影片中的 DGX Spark demo 顯示，講者先在終端機編輯 `deployment.config`，其中出現 `MODEL_CKPT=models/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4` 與 `vllm serve --model $MODEL_CKPT`；接著透過以下 API 呼叫確認服務：
> 一位講者身著深色 Polo 衫，在綠色螢光背光與兩側黑色音響設備的背景前，講解如何使用 NVIDIA Nemotron-3.5-Lightning 模型。
```bash
curl -sS http://127.0.0.1:8001/v1/models | jq
curl -sS http://127.0.0.1:8001/v1/chat/completions
```
畫面回傳的測試內容包含 `Nemotron is working ✅ Good job, Lightning!`，之後在 OpenCode 設定中出現 `model: "nemotron/nemotron-3.5-lightning"`，並展示一般問答與 16 個平行執行的 Agent 終端機。這些是 demo 畫面中的操作與結果，不等同於 NVIDIA 對所有部署環境的效能保證。
> 一位身穿淺綠色夾克的使用者站在深色背景前，正操作著浮動的透明平板介面，平板上的 Agent Prompt 輸入框內帶有文字，介面下方設有 Execute、Schedule 與 Cancel 按鈕；其正前方透過發光的綠色線路連接多個圓形頭像節點與模型方塊，右側則懸掛著顯示程式碼、對話紀錄、行事曆與分析圖表的直立式大型儀表板。
## 媒體內容
**NVIDIA Nemotron 3.5 Lightning 在 Artificial Analysis Intelligence Index 取得 24 分，與 Nemotron 3 Ultra (38分) 及 Nemotron 3 Super (26分) 等共同展示開源模型家族的基準測試表現。**
**數據表**
| 項目 | 數值 |
| --- | --- |
| Claude Opus 5 (max) | 63 |
| Claude Fable 5 (with fallback) | 62 |
| GPT-5.6 Sol (max) | 61 |
| Kimi K3 (max) | 60 |
| Qwen3.8 Max | 58 |
| Muse Spark 1.2 (xhigh) | 57 |
| GPT-5.6 Terra (max) | 57 |
| Grok 4.5 (high) | 56 |
| Claude Sonnet 5 (max) | 55 |
| GLM-5.2 (max) | 53 |
| GPT-5.6 Luna (max) | 52 |
| DeepSeek V4 Flash 0731 (max) | 52 |
| Gemini 3.6 Flash | 52 |
| MiniMax-M3 | 45 |
| MiMo-V2.5-Pro | 43 |
| Inkling | 42 |
| Nemotron 3 Ultra | 38 |
| Gemini 3.5 Flash-Lite | 37 |
| Mistral Medium 3.5 | 30 |
| Claude 4.5 Haiku | 30 |
| Gemma 4 31B | 30 |
| Nemotron 3 Super | 26 |
| gpt-oss-120b (high) | 24 |
| Nemotron 3.5 Lightning | 24 |
| Command A+ | 23 |
**Nemotron 3.5 Lightning 在 PinchBench 達到 86% 的準確率，且完成 10,000 項任務的速度比同等準確率的 Qwen3.6-35B 快 35%。**
**數據表**
| 項目 | X | Y |
| --- | --- | --- |
| Nemotron 3.5 Lightning | 17 | 86% |
| Qwen3.6-35B | 23.5 | 86% |
| Gemma 4 26B | 25 | 73% |
**Nemotron 3.5 Lightning 經過後訓練微調後，在資安、程式碼、法律及能源模擬等專業領域任務中的準確率顯著提升，並超越 GPT 5.4 Nano 與 Opus 4.8 等競爭模型。**
**數據表**
| | Nemotron 3.5 Lightning | Customized Nemotron 3 Super |
| --- | --- | --- |
| Benign Recall | +45 | 65 |
| Coding Router | +34 | |
| Legal Task Completion | +8.3 | |
| Energy Simulation | +36 | |
**一位講者身著深色 Polo 衫，在綠色螢光背光與兩側黑色音響設備的背景前，講解如何使用 NVIDIA Nemotron-3.5-Lightning 模型。**
**影片中的 Prompt 與操作**
Prompt（03:13）：
```
嘿，你可以告訴我法國的首都是哪裡嗎？
```
原文：Hey, can you tell me what the capital of France is?
操作步驟：
1. （01:29）開啟 `deployment.config` 檢視 vllm 伺服器與模型參數
2. （02:22）執行 curl 查詢 v1/models 端點確認模型狀態
3. （02:40）執行 curl 發送 chat/completions 請求測試模型回應
4. （03:09）開啟 OpenCode 工具介面並輸入測試問題
5. （03:43）展示 Swarm Control 儀表板，同時運行 16 個 Agent 處理任務
**逐字稿**
- `00:00` 嘿，大家好嗎？（Hey, what's up?）
- `00:00` 我是 Chris，（Chris here,）
- `00:01` 今天很開心要帶大家看看，如何使用 Nemotron 3.5 Lightning。（and today I'm excited to walk you through how you can use Nemotron 3.5 Lightning.）
- `00:05` 沒錯，這是 Nemotron 3 系列在 DGX Spark 上全新推出的版本。（That's right, a brand new entry into the Nemotron 3 family on DGX Spark.）
- `00:11` 我們今天要一起操作的內容相當簡單。（What we're going to work through is pretty straightforward.）
- `00:13` 我會示範如何部署這個模型，接著再展示如何透過 OpenCode 之類的工具使用它。（I'm going to show you how to deploy the model and then show you how to consume it with a tool like OpenCode.）
- `00:18` 然後我們會看一個小示範，展示這個厲害的傢伙到底能產生多少 token。（Then we're going to look at a little bit of a demo showcasing just how many tokens this bad boy can crank out.）
- `00:24` 正如 Lightning 這個名字所暗示的，這個模型就是為了速度而設計。（As the name might imply, Lightning, this model is designed to be fast.）
- `00:28` 這裡面用到的技術數量，（The number of technologies that go into this,）
- `00:31` 和 Nemotron 3 系列的其他版本一樣，非常多。（as with the rest of the Nemotron 3 family, are numerous.）
- `00:35` 但我們現在要聚焦的，是推測解碼。（But the one we're going to focus on right now is speculative decoding.）
- `00:39` 它的概念是，我們不必一次產生一個 token，（The idea is that we can, instead of generating one token at a time,）
- `00:43` 而是可以透過模型本身，搭配像 MTP 或草稿模型之類的方式，產生多個 token。（use the model itself through something like MTP or a draft model to produce multiple tokens.）
- `00:49` 接著讓模型替這些 token 做某種事實查核，決定接受或拒絕它們。（And then we can have our model kind of fact-check those tokens and either accept them or reject them.）
- `00:55` Nemotron 3.5 Lightning 有兩種主要的推測解碼方法。（For Nemotron 3.5 Lightning, we have two main speculative decoding methods.）
- `01:01` D-Flash，適合低並行度的資料中心，例如 H100，（D-Flash, which is great for low-concurrency data centers, so like H100,）
- `01:06` 以及 D-Spark，顧名思義，非常適合 DGX Spark。（as well as D-Spark, which fittingly is great for the DGX Spark.）
- `01:11` 現在，這兩個都叫 Spark，但它們的技術其實不太一樣。（Now, they're both called Spark, but the technologies are not really the same.）
- `01:15` D-Spark 能讓我們每秒產生的 token 數量大幅增加，比不使用推測解碼時多得多。（D-Spark just lets us crank out many more tokens per second than if we weren't using that speculative decoding method.）
- `01:23` 我們直接進入終端機，看看要如何讓這個東西執行起來，接著再看看可以怎麼使用它。（Let's jump right into the terminal and see how we can get this thing running and then see a little bit of how we can use it.）
- `01:29` 好，（All right,）
- `01:29` 現在我們在終端機裡，可以查看實際的部署設定。（so now we are in the terminal and we can check out the actual deployment config.）
- `01:33` 首先可能會引起你注意的是，我們有兩個檢查點。（The first thing that might jump out at you is that we have two checkpoints.）
- `01:36` 其中一個是我們的模型檢查點，（We have our kind of model checkpoint,）
- `01:38` 也就是實際的 3.5 Lightning 模型，（which is going to be the actual 3.5 Lightning model,）
- `01:41` 另一個則是 spec deck 檢查點。（as well as our spec deck checkpoint.）
- `01:43` 在這個案例中，它會指向 D-Spark 草稿模型。（This is going to point to, in this case, the D-Spark draft model.）
- `01:47` 不過你也可以把它指向 D-Flash，只是再次提醒，針對 DGX Spark，（You can point this at D-Flash as well, though, again, for DGX Spark,）
- `01:50` 我們建議使用畫面上看到的設定。（we recommend the config that you see on the screen.）
- `01:53` 其他部分基本上都很正常。（Everything else here is kind of normal.）
- `01:55` 我們有 100 萬的 context 長度，這非常重要。（We have our 1 million context length, very important.）
- `01:57` 我們也有工具選擇和工具呼叫剖析器的設定，（We have our tool choice and tool calling parser configs,）
- `02:01` 這些對 OpenCode、HermesAgent 或 OpenClaw 之類的工具很重要，（which are important for things like OpenCode, HermesAgent, or OpenClaw,）
- `02:07` 還有其他一些重要設定，（as well as a number of other configs that are important,）
- `02:11` 包括使用哪一種推理剖析器。（including things like what the reasoning parser is.）
- `02:15` 好，執行這個指令之後，（All right, so once we've run this command,）
- `02:17` 模型就會啟動並執行。（we're going to have the model up and running.）
- `02:19` 我們來看看實際結果。（Let's see what that looks like.）
- `02:20` 好，首先我們要做的，（All right, the first thing we're going to do,）
- `02:23` 就是現在 VLM 已經啟動並執行了，（now that we have VLM up and running,）
- `02:25` 確認端點上有哪些可用的模型。（is we're just going to make sure to see what models we have available on our endpoint.）
- `02:29` 你可以看到，我們的 Nemotron 3.5 Lightning 檢查點已經啟動並執行，（You can see here that we have our Nemotron 3.5 Lightning checkpoint up and running,）
- `02:34` 這很不錯。（which is great.）
- `02:36` 我們送出一個簡單的請求，看看它會回傳什麼。（Let's submit a simple request and see what that comes back with.）
- `02:39` 接著我們可以執行這個簡單的 curl，看看模型會說什麼。（Next, we can fire off this simple curl just to see what the model says.）
- `02:44` 我們會請它告訴我們自己正在運作。（We're going to ask it to tell us that it's working.）
- `02:46` 可以看到一些思考內容，最後也看到輸出：「Nemotron 正在運作」，打勾，（We see some thinking, and we see finally output, Nemotron is working, checkmark,）
- `02:52` 做得好，Lightning。（good job, Lightning.）
- `02:53` 好，我們來看看這個東西在 OpenCode 裡怎麼運作。（All right, let's see how this thing works in OpenCode.）
- `02:56` 你可以看到，這是相當簡單直接的設定。（You can see here that it's a pretty straightforward config.）
- `02:59` 如果你想要這種設定，可以前往我們的 GitHub 程式庫，（If you want this kind of config, you can head to our GitHub repository,）
- `03:02` 查看內容，我們會提供這類的東西。（check that out, where we're going to be supplying these kinds of things.）
- `03:06` 既然我們已經看過這份設定了，（Now that we've looked at that config,）
- `03:08` 我們可以直接開啟 OpenCode，做各種事情，（we can go ahead and pop open OpenCode and do all kinds of things,）
- `03:11` 像是簡單的工作。（like simple stuff.）
- `03:12` 嘿，（Hey,）
- `03:12` 你可以告訴我法國的首都是哪裡嗎？看看我們這個小模型能不能跑起來。（can you tell me what the capital of France is and watch our little model that could rip?）
- `03:21` 巴黎，答對了。（Hey, Paris is correct.）
- `03:23` 但不只是這樣，對吧？（But not just that, right?）
- `03:25` 這款模型的設計目標，是成為能快速完成大量簡單任務的工作主力模型。（This is designed to be a workhorse model to complete a lot of simple tasks very quickly.）
- `03:30` 這個概念是，在一套模型系統中，它就是負責把事情做完的模型。（The idea is that in a system of models, this is the getting stuff done model.）
- `03:35` 我們舉個例子，看看實際運作起來會是什麼樣子，（So let's take an example and look at how that looks,）
- `03:38` 讓模型一次同時處理 16 項任務。（where the model is actually working on 16 tasks at a time.）
- `03:42` 好，現在看到的是 16 個終端機，（All right, what we're looking at here is 16 terminals,）
- `03:47` 全部都是由 OpenCode server 驅動。（all powered by OpenCode server.）
- `03:49` 它們只是透過這個網頁 UI 呈現，讓畫面更好看，（So they're rendered in this web UI just to make it look pretty,）
- `03:53` 但每一個終端機實際上都是由 OpenCode server 驅動。（but these are each being powered by OpenCode server.）
- `03:56` 它會與我們 Spark 上部署的 Nemotron 3.5 Lightning VLM 互動，（And it's interacting with the VLM deployment of Nemotron 3.5 Lightning on our Spark,）
- `04:03` 總共能產生每秒超過 500 個 token 的工作量。（and it's generating in total 500 plus tokens per second worth of work.）
- `04:09` 這就是我們的概念。（This is the idea.）
- `04:11` 每一個終端機，實際上都是一條不同的工作路徑。（Every one of these terminals is effectively a different avenue of work.）
- `04:16` 這就是我們所說的工作主力模型，對吧？（And this is what we mean when we say a workhorse model, right?）
- `04:19` 它只靠一台 DGX Spark 就能完成這些工作。（It's able to do all of this just from one DGX Spark.）
- `04:22` 這就是你在 DGX Spark 上使用 Nemotron 3.5 Lightning 的方式。（And that is how you can use Nemotron 3.5 Lightning on your DGX Spark.）
- `04:29` 如果你想在其他地方執行，我們還有更多操作說明，（We have many more instructions if you want to run it different places,）
- `04:34` 包括你的 RTX 顯示卡，甚至是 Jetson。（including your RTX cards or even Jetson.）
- `04:37` 如果你想了解如何自訂這個模型，（If you want to learn about how you can customize this model,）
- `04:40` 因為它是一款非常容易自訂的模型，（since it is a very customizable model,）
- `04:42` 也可以查看我們在 GitHub 上提供的相關資源。（you can check out the resources we have on GitHub for that as well.）
- `04:46` 當然，（We also, of course,）
- `04:47` 我們也有技術部落格，你可以閱讀更多關於我們如何製作 Nemotron 3.5 Lightning 的細節。（have a tech blog you can read to learn more about the nitty gritty details of how we produce Nemotron 3.5 Lightning.）
- `04:54` 希望大家喜歡這款模型。（Hope you guys enjoy the model.）
- `04:55` 非常感謝大家收看，我們下次再見。（Thanks so much for watching, and we'll see you next time.）
**一名講者講解 NVIDIA NeMo Switchyard 的架構與動態模型路由機制**
**逐字稿**
- `00:00` 單一模型已經不足以應付 Agentic 工作流程。（One model is no longer enough for agentic workflows.）
- `00:03` 如今，AI Agent 需要多個模型（Today, AI agents need multiple models）
- `00:06` 彼此協作來完成工作，（working together to get stuff done）
- `00:09` 在所有任務中取得準確度、效率、成本（with the right balance of accuracy, efficiency, cost,）
- `00:12` 與控制力之間的適當平衡，也就是一套模型系統。（and control across all tasks, a system of models.）
- `00:16` 現在，一套模型系統運作得最好時，（Now, a system of models works best）
- `00:17` 就是每項任務都交給適合的模型。（when each task reaches the right model.）
- `00:19` 而且大多數團隊其實已經有點在這麼做了，對吧？（And most teams kind of already do this, right?）
- `00:22` 他們會在建構模型時，將模型分配給專門的 subagent，（They assign models to specialized sub-agents）
- `00:25` 在建構模型時，（when they're building the models,）
- `00:26` 當你使用大型語言模型建構工作流程時，（when you're building a workflow out using LLMs,）
- `00:30` 你會有自己偏好的模型（you're gonna have the models that you prefer）
- `00:33` 來處理不同的任務。（for different tasks.）
- `00:34` 你知道，規劃器會使用（You know, the planner is gonna get）
- `00:36` 像是前沿級模型。（like a frontier class model.）
- `00:38` 搜尋 Agent 可能會使用專門的開放模型，（The search agent might get a specialized open model）
- `00:40` 而某些需要存取高度敏感資料的模型（and maybe some very sensitive data accessing model）
- `00:44` 則會在地端裝置上於內部部署執行。（is gonna run on-prem on a local device.）
- `00:47` 這是個很棒的想法，也確實有所幫助，（This is a great idea, it helps,）
- `00:50` 但在實際工作流程中，（but in real workflows,）
- `00:52` 需求會隨著每一輪互動而改變，對吧？（kind of demands are gonna shift turn by turn, right?）
- `00:55` 搜尋 Agent 可能會遇到有點模稜兩可的內容。（A search agent might hit something a little bit ambiguous.）
- `00:59` 原本不該困難的普通步驟，（A normal step that's not supposed to be difficult）
- `01:02` 可能突然需要深度推理。（might suddenly need deep reasoning.）
- `01:05` 靜態分配其實無法幫我們處理這種情況。（Static assignments can't really help us with that.）
- `01:07` 這就是分配模型（That's the difference between assigning a model）
- `01:10` 與在整個工作流程中協調模型之間的差異。（and then orchestrating models across a workflow.）
- `01:14` NeMo Switchyard 能幫助 Agent 完成這件事。（NeMo Switchyard helps agents do exactly that.）
- `01:17` 它會進行動態路由。（It routes dynamically.）
- `01:18` 它會讀取即時上下文、（It's going to read the live context,）
- `01:21` Agent 的狀態、工具結果、進度與難度，（the state of the agent, tool results, progress difficulty,）
- `01:24` 在每個步驟選擇適合的模型。（to pick the right model at every step.）
- `01:26` 在底層，Switchyard 會採用幾個元件。（Under the hood, Switchyard takes a few components.）
- `01:30` 它會使用模型池、一些訊號、（It's gonna take a model pool, some signals,）
- `01:32` 決策策略，稍後會再詳細說明，（a decision policy, more on that in a second,）
- `01:35` 執行層，以及回饋迴圈。（an execution layer, and a feedback loop.）
- `01:37` 我們來一步一步拆解。（Let's take that down step-by-step.）
- `01:40` 首先是模型池，對吧？（So first of all, the pool, right?）
- `01:42` 只有在模型池中的模型（Routing only works if we have a pool of models）
- `01:44` 彼此確實有所不同時，路由才有作用。（that are genuinely different from each other.）
- `01:47` 前沿模型用於規劃與開放式推理，（Frontier models for planning and open-ended reasoning,）
- `01:49` 專門的開放模型用於目標明確的特定工作，（specialized open models for targeted specific work,）
- `01:52` 執行型任務，以及小型本地模型（execution-style tasks, and small local models）
- `01:55` 則適合最重視控制力的情境。（where control is of most importance.）
- `01:58` 每個目標模型都有一份能力設定檔，（Each target carries a capability profile,）
- `02:01` 例如它擅長什麼、成本多少，（like what it's good at, what it costs,）
- `02:03` 回應速度多快，以及其他所有相關資訊。（how fast it responds, all of that stuff.）
- `02:05` 而路由器實際上（And the profile is what the router）
- `02:07` 就是根據這份設定檔來做選擇。（is actually going to choose between.）
- `02:08` 第二是訊號。（Secondly, signals.）
- `02:10` 路由器在做決定時，實際上能看到什麼，對吧？（What can the router actually see when it decides, right?）
- `02:13` 我們有這個請求，所以這就像是在問，（We have the request, so this is like,）
- `02:15` 這是什麼類型的任務？（what kind of task is this?）
- `02:16` 可能會有多困難？（How difficult could it be?）
- `02:18` 對話本身，這包括像是（The conversation itself, this is things like）
- `02:20` 回頭查看先前各輪的歷史紀錄，（looking back through the turn history,）
- `02:22` 查看工具的結果，（looking at tool results,）
- `02:23` 查看我們在待辦清單上進展到哪裡。（looking at how far we're moving down the to-do list.）
- `02:26` 最後，當然，模型本身（And finally, of course, the models themselves）
- `02:28` 也能發出一些訊號，例如信心程度，（can emit signals, things like confidence）
- `02:30` 這是我們直接從前向傳播中讀取的。（that we read directly from a forward pass.）
- `02:32` 更好的訊號，代表更好的決策。（Better signals mean better decisions.）
- `02:35` 有些訊號的擷取成本很高，（Some signals are costly to extract,）
- `02:39` 而這個取捨才是關鍵所在。（and that trade-off is kind of, you know, the big deal.）
- `02:43` 接下來，我們要稍微談一下執行。（Next, we're gonna talk a little bit about execution.）
- `02:46` 這個概念是，我們需要某種層，（This is the idea that we need some kind of layer）
- `02:49` 來實際執行這個請求。（to actually execute the request.）
- `02:52` 所以路由器會做出決定，（So the router is gonna make a decision,）
- `02:54` 然後這個決定需要被傳送到某個地方，（and then that decision needs to be sent somewhere）
- `02:56` 去執行工作。（to do work.）
- `02:57` 以 NVIDIA NeMo Switchyard 為例，（This is something like, in the case of）
- `02:59` 對吧？（NVIDIA NeMo Switchyard, right?）
- `03:02` 我們會把它傳給大型語言模型閘道，（We're gonna pass that to an LLM gateway）
- `03:03` 或是 Agent harness，接著由它將（or the agent harness, which is then going to send）
- `03:06` 這個請求透過標準 API 傳送給正確的模型。（that request to the correct model via its typical API.）
- `03:10` 最後是回饋，你知道，我們需要某種遙測資料（Lastly, feedback, you know, we need kind of telemetry）
- `03:16` 來了解，我們有變得更好嗎？（to understand, you know, are we getting better?）
- `03:19` 我們做得好嗎？（Are we doing well?）
- `03:20` 我們真的有節省成本嗎？（Are we actually saving costs?）
- `03:22` 我們可以對路由器進行基準測試，並了解（We can benchmark routers and understand）
- `03:25` 它們應該能有更好的表現，（that they should perform better,）
- `03:26` 但沒有回饋的話，（but without feedback, we're kind of in the dark）
- `03:29` 實際在正式環境執行時，我們就完全摸不著頭緒。（when we're actually running these in production.）
- `03:32` 最後，還有一件我沒談到的事，（Lastly, the thing I didn't talk about）
- `03:34` 就是路由或決策政策。（is the routing or decision policies.）
- `03:36` 這基本上就是整件事的核心。（And this is kind of like the whole thing.）
- `03:38` 這些演算法是像（These are the algorithms, the beating heart of something）
- `03:41` NeMo Switchyard 這類系統的核心，告訴路由器（like NeMo Switchyard, which tell the router）
- `03:44` 要根據訊號，如何在模型池中的模型之間做選擇。（how to choose between models in a pool based on signals.）
- `03:48` 所以我們來看看幾個例子。（So let's go through a few examples of them.）
- `03:50` 首先，我們有大型語言模型分類器。（First of all, we have the LLM classifier.）
- `03:52` 大型語言模型分類器會在模型池前方（The LLM classifier is gonna put a tiny classifier）
- `03:55` 放置一個小型分類器。（in front of the pool of models.）
- `03:56` 它會讀取傳入的請求，並做出判定。（It's gonna read incoming requests and issue a verdict.）
- `04:00` 這需要交給強力模型層嗎？（Does this need to go to the strong tier?）
- `04:02` 你知道，這需要交給專門的模型嗎？（You know, does this need to go to a specialized model?）
- `04:06` 就是這類的決定。（Well, those kinds of decisions.）
- `04:08` 這裡的概念是，我們可以透過分類器設定（The idea here is that we can set how aggressive）
- `04:12` 希望這項政策有多積極。（we want that policy to be with our classifier.）
- `04:16` 所以我們可以有一個旋鈕來調整（So we can kind of have a knob to tune）
- `04:19` 說到我們想要多偏好（when it comes to how much we want to prefer）
- `04:21` 其中一個模型而不是另一個模型。（one model versus the other.）
- `04:23` 以強弱分類器為例，（In the case of like a strong weak classifier,）
- `04:26` 我們可能會希望模型偏向強模型，（we might want the model to lean towards strong）
- `04:28` 用於答錯代價高的使用情境，（for use cases where being wrong is costly）
- `04:31` 或是偏向弱模型，用於（or lean towards weak for use cases）
- `04:33` 答錯代價不高、（where being wrong is not very costly）
- `04:35` 但效率極其重要的使用情境。（and efficiency is extremely important.）
- `04:37` 接下來是 Cascade 路由，（Next, we have Cascade routing）
- `04:39` 而且它取得訊號幾乎不用額外成本。（and it gets its signals kind of for free.）
- `04:41` 在 Agent 迴圈中，證據本來就會持續流動。（In an agent loop, evidence is already flowing.）
- `04:44` 工具呼叫成功或失敗、重試、（Tool calls, succeeding or failing, retries,）
- `04:46` 以及朝目標推進的程度。（progress towards the goal.）
- `04:47` Cascade 會讀取這些證據，（The Cascade reads that evidence）
- `04:49` 讓大多數回合都停留在高效率的層級。（and holds most turns on the efficient tier.）
- `04:52` 只有當訊號顯示（It only escalates when the signals say）
- `04:54` 模型遇到困難時，它才會升級。（the model is struggling.）
- `04:55` 所以這就像我們一直在反覆（So this is like we're slamming tool calls）
- `04:58` 呼叫工具。（over and over again.）
- `04:58` 我們不斷撞牆。（We're banging our head against the wall.）
- `05:00` 嘿，夥計，升到下一個層級吧。（Hey, go up to the next tier, my guy.）
- `05:02` 這就是 Cascade 路由之類的做法。（This is something like Cascade routing.）
- `05:05` 最後，還有像 pre-fill router 這樣的東西。（Lastly, we have something like the pre-fill router.）
- `05:08` 它會再深入一層，（This goes one level deeper）
- `05:09` 並考量大量訊號，（and it considers a lot of signals,）
- `05:12` 包括模型本身提供的訊號。（including signals from the model itself.）
- `05:14` 在模型能夠產生任何內容之前，（Before the model can generate anything,）
- `05:16` 它必須先進行 pre-fill。（it has to pre-fill.）
- `05:17` 所以我們得先載入內容，（So we have to load things up）
- `05:19` 並針對 prompt 完整執行一次前向傳播。（and do a full forward pass over the prompt.）
- `05:21` 那次傳播包含非常密集的訊號，（That pass is dense with signal,）
- `05:24` 包括 token 層級的信心度和內部狀態。（token level confidence and internal states.）
- `05:26` 我們會讀取這些資訊，再加上其他許多（We read it and with a bunch of other factors）
- `05:29` 我們納入考量的因素，（that we consider,）
- `05:30` 例如模型的速度。（like how fast the models are.）
- `05:32` 同樣地，利用我們擁有的所有這些訊號，（Again, all of these signals we have,）
- `05:33` 我們可以相當有把握地判斷（we can determine with pretty decent confidence）
- `05:37` 是否要使用所選定的模型。（whether or not to go to the model that was selected.）
- `05:40` 現在，這是一個可訓練的路由器，（Now, this is a trainable router,）
- `05:44` 也就是說，我們必須做一些工作，（which means that we have to do some work）
- `05:45` 才能讓它運作得很好。（to make it work great.）
- `05:46` 但這些工作會讓它運作得非常出色。（But that work makes it work really great.）
- `05:49` 所以最後，我們來簡單回顧一下，好嗎？（So finally, let's just recap, right?）
- `05:51` 我們有模型池、訊號，（We had pools, signals,）
- `05:52` 有決策政策，（we have the decision policy,）
- `05:54` 有執行，（we have execution,）
- `05:54` 也有回饋。（we have feedback.）
- `05:55` 最有能力的人工智慧系統（The most capable AI systems）
- `05:57` 已經不再只有一個模型。（aren't one model anymore.）
- `05:59` 而是由許多模型組成。（They're many.）
- `06:00` 而路由就是讓多個模型（And routing is how many models）
- `06:01` 變成一個系統的方式（become one system）
- `06:03` 像是 NeMo Switchyard 這樣。（with something like NeMo Switchyard.）
- `06:04` 非常感謝你的收看。（Thanks so much for watching.）
- `06:06` 我們下集再見。（We'll see you in the next one.）
**Nemotron 3.5 Lightning 在小於 40B 參數的開放權重模型中展現極高輸出速度（每秒約 668 個 token），並維持 24 分的 Intelligence Index 指標，獨自進入最優象限。**
**數據表**
| 項目 | X | Y |
| --- | --- | --- |
| Qwen3.6 27B | 75 | 38 |
| Qwen3.6 35B A3B | 142 | 32 |
| Gemma 4 31B | 40 | 30 |
| Nemotron 3.5 Lightning | 668 | 24 |
| Gemma 4 12B | 112 | 22 |
| Qwen3.5 9B | 92 | 22 |
| Qwen3.5 4B | 38 | 20 |
| Nemotron 3 Nano | 226 | 15 |
| gpt-oss-20b (high) | 123 | 15 |
**Nemotron 3.5 Lightning 在 PinchBench 達到 86% 準確率，完成 10,000 項任務的速度比類似準確率的 Qwen3.6-35B 快 35%。**
**數據表**
| 項目 | X | Y |
| --- | --- | --- |
| Nemotron 3.5 Lightning | 16.8 | 86% |
| Qwen3.6-35B | 23.8 | 87% |
| Gemma 4 26B | 25.3 | 73% |
## 標籤
新產品, LLM, Agent, 開源專案, NVIDIA