# 策展 · X (Twitter) 🔥🔥🔥🔥

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 作者：NVIDIA AI (@NVIDIAAI) · 平台：X (Twitter) · 日期：2026-07-15

> 原始來源：https://x.com/NVIDIAAI/status/2077061428998013279

## 中文摘要

NVIDIA AI 展示以 NeMo RL 與 NeMo Gym 支援 Agent 自主執行訓練研究。

**核心應用與成果**
NVIDIA AI 展示了如何賦予 coding Agent（實驗使用 OpenAI Codex 搭配 GPT 5.5）明確目標與時間預算，使其能獨立執行機器學習研究工作流程。在實驗中，Agent 成功設定訓練環境，並針對視覺模型進行強化學習訓練，將「Qwen3-VL-2B」模型的任務準確率從 25% 提升至 96.9%。此外，Agent 不僅能執行既定任務，還能主動提出後續的實驗建議。流程也包含根據論文實作 off-policy RL 演算法，並啟動 10 小時的驗證訓練。 

<video src="https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/1784082809379-ejiy4iim.mp4" poster="https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/4a3e3c98bc9555c3.jpg" controls playsinline preload="metadata" style="max-width:100%;height:auto;display:block;margin:1rem 0"></video>
> 影片展示了如何透過 AI 代理與自動化研究工作流程，進行視覺語言強化學習實驗。

**技術架構與運作機制**
此工作流程以 Andrej Karpathy 的開源專案「Autoresearch」為核心概念，將重複性的設定與迭代工作交由 Agent 處理，研究人員則負責設定目標、審核里程碑與策略決策。系統整合了以下關鍵技術：
- **NVIDIA NeMo RL 與 NeMo Gym**：提供模型互動、獎勵機制與訓練環境的基礎設施，支援 GRPO、DPO 等多種訓練配置。
- **Agent skill 模組**：為了克服 Agent 在長執行週期中可能出現的記憶喪失或環境不熟悉問題，引入了三項關鍵 skill：
    - `Brev-etiquette`：管理硬體實例（如 NVIDIA L40S 48GB GPU）的運作規範，確保快取與檢查點（checkpoint）儲存正確。
    - `Session-memory`：記錄長期任務的目標、子任務、已載入的 skill 與進度，確保工作脈絡延續。
    - `Autoresearch`：負責實驗迴圈管理，包括建立分支、記錄實驗日誌、監控停止規則並總結結果。 

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/9f28baf235516398.jpg)
> 這是一段設定自動化研究任務的指令，要求使用特定的 skill 模組對模型進行訓練與效能評估。

**實務建議與注意事項**
儘管 Agent 具備高度自主性，但仍需注意潛在的失敗模式，如上下文漂移（Context drift）導致目標遺忘，或因指令過於頻繁而偏離研究方向。開發團隊建議：
- 將 skill 視為不斷演進的「工作流程指令」，隨經驗累積持續更新。
- 在長週期執行前，應進行明確的腦力激盪與規劃，並設定 GPU 時數或時間限制等預算約束。
- 應將 Agent 視為具備能力的實習生或初階同事，人類研究人員仍需負責驗證實驗邏輯與判斷結果的價值。

欲了解詳細操作步驟或觀看演示影片，可參考官方說明文件：[Autoresearch Workflow Guide](https://nvda.ws/4wIdgMz)

## 媒體內容

**影片展示了如何透過 AI 代理與自動化研究工作流程，進行視覺語言強化學習實驗。**

**影片中的 Prompt 與操作**

Prompt（00:04）：

```
閱讀論文，實作該論文並在 Qwen 1.3B 模型上執行測試。將新演算法與現有的演算法進行比較。
```

原文：08: Read the paper, implement the paper and run the test on the Qwen 1.3B model. Compare the new algorithm with the existing one.

操作步驟：

1. @3:07 點擊 Brev 平台上的部署連結。
2. @4:07 點擊「Deploy」按鈕啟動實例。
3. @4:09 開啟 Visual Studio Code 並連接至 Brev 實例。
4. @4:17 在 Codex 聊天視窗中查看實驗執行日誌。
5. @6:31 在聊天視窗中輸入指令調整批次大小（Batch Size）為 256x16。

**逐字稿**

- `00:00` 嘿，大家好！我是 Chris，今天我們要來談談 Agentic 程式開發與研究的時代。（Hey, what's up? My name is Chris, and today we're going to talk about the era of agent-led coding）
- `00:04` 前沿的 Agent 現在可以跨越真實的程式庫、執行階段、GPU 和實驗來進行工作。它們可以（and research. Frontier agents can now work across real repos, runtimes, GPUs, experiments. They can）
- `00:11` 追蹤指標。它們能完成所有這些工作。所以，在這支影片中，我們將向你展示如何使用（track metrics. They do all this stuff. So in this video, we're going to show you how you can use）
- `00:15` 像 skill 這樣的工具來實際執行這些自動化研究的機器學習工作流程。自動化研究，如果你（things like skills to actually do some of this auto-research ML workflow. Auto-research, if you）
- `00:22` 還不知道的話，這是一個由 Karpathy 推廣的術語，其概念非常直觀。（don't know it, is a term popularized by Andre Karpathy, and the idea is very straightforward.）
- `00:27` Agent 為我們執行實驗。它們編輯程式碼、測試程式碼、啟動實驗。（Agents run experiments for us. They edit the code. They test the code. They launch the experiments.）
- `00:32` 它們監控實驗。它們執行你通常會做的所有事情，但它們是在一個（They monitor the experiments. They do everything that you would normally do, but they do it in a）
- `00:36` 緊密且受監控的迴圈中完成的。所以，在這個教學中，我們將展示一個前沿的編碼 Agent 主導的自動化研究（tight, monitored loop. So in this tutorial, we're going to show a Frontier coding agent-led auto-research）
- `00:42` 工作流程，用於使用 NVIDIA NeMo 進行視覺語言強化學習實驗。基本概念是（workflow for visual language reinforcement learning experiments using NVIDIA NeMo. The basic idea is）
- `00:48` 這樣的。我們將看到三件事。第一，全端自主性。這裡的概念是 Codex 將（this. We're going to see three things. One, full-stack autonomy. The idea here is that Codex is going to）
- `00:53` 為我們在 BrevGPU 實例上設定 NeMo RL，並且它將完成一個訓練冒煙測試。（set up NeMo RL for us on a BrevGPU instance, and it's going to complete a training smoke test.）
- `00:59` 如果你用過 Codex，你會喜歡「冒煙測試」這個詞。接下來是目標導向的自動化研究。（And if you've used Codex, you're going to love the word smoke test. The next is goal-driven auto-research.）
- `01:04` 這才是真正的核心。Codex 將建立一個 star count NeMo Gym 環境。它將（That's the actual meat. Codex is going to create a star count NeMo Gym environment. It's going to）
- `01:09` 將 Qwen 從大約 25% 提升到大約 96%，基本上是一個計數任務。最後，我們將看到它（improve Qwen from about 25% to about 96%, basically a counting task. And finally, we're going to see it）
- `01:16` 執行一些從論文到程式碼的工作。概念是它將選取一篇熱門論文，編寫（do some paper-to-code work. The idea is that it's going to take a popular paper, it's going to write）
- `01:22` 一些程式碼，然後驗證該程式碼是否符合論文中的預期。（some code, and then it's going to validate that that code matches expectations from the paper.）
- `01:27` NeMo RL 和 Gym 都是開放式程式庫，屬於 NVIDIA NeMo 框架的一部分，用於構建和（NeMo RL and Gym are both open libraries that are part of the NVIDIA NeMo framework for building and）
- `01:31` 大規模訓練自定義模型。NeMo RL 支援你所期望的所有功能。（post-training custom models at scale. NeMo RL supports all the bells and whistles you'd expect.）
- `01:37` 當然，Brev 將提供我們 GPU 來實際執行這個東西。（And Brev, of course, is going to give us the GPU to actually run this thing.）
- `01:42` 為了讓這對你們來說運作得更好，我們實際上為 Codex 捆綁了這三個 skill。（To make this work better for you guys, we actually bundled up these three skills for Codex.）
- `01:48` 第一個是關於 Brev 的使用禮儀。它精確地告訴 Codex 如何最好地使用 Brev，這樣你（The first one is all about Brev etiquette. It tells Codex exactly how to best use Brev so that you）
- `01:54` 就不必去查閱文件。你的 Agent 將能夠閱讀並理解（don't have to go through the docs. Your agent's going to be able to read that and understand）
- `01:58` 將大型檔案放在哪裡以及儲存檢查點等等。第二個是工作階段記憶。（where to put large files and save checkpoints, stuff like that. The second is session memory.）
- `02:03` Codex 需要記住目標、重要決策、檔案路徑和進度。因此，一個 skill（Codex needs to remember the goal, important decisions, file paths, and progress. And so a skill）
- `02:09` 能幫助我們讓模型為我們追蹤這些資訊，並追蹤我們認為（helps us to allow the model to keep track of that for us and keep track of the things that we know）
- `02:15` 重要的事情。最後，是實際的自動化研究 skill。這就像是迴圈，對吧？執行（are important. Finally, it's the actual auto-research skill. This is like the loop, right? Run the）
- `02:21` 基準測試、嘗試一些實驗、追蹤指標、在預算或目標達成時停止，並總結（baseline, try some experiments, track metrics, stop when your budget or goal is met, and summarize）
- `02:26` 結果。當然，這些 skill 本身並不會進行研究。Codex 將會完成（the results. These skills, of course, are not going to do the research themselves. Codex is going to do）
- `02:30` 所有的工作，但這些 skill 讓流程更順暢，對吧？我現在要做的是把你交給（all of the work, but the skills grease the wheels, right? What I'm going to do now is pass you over to）
- `02:36` 我尊敬的同事 Vin，他將繼續向你展示我們如何使用 Codex（my esteemed colleague, Vin, who's going to go ahead and show you exactly how we can do this with Codex）
- `02:41` 以及這些 skill 來做到這一點。（and with those skills.）
- `02:42` 謝謝你，Chris，那是非常充滿活力的開場白。大家好，我是 Vin。我將帶領你們（Thank you, Chris, for the very energetic introductory notes. Hi, everyone. This is Vin. I'm going to walk you）
- `02:49` 完成使用 NeMo RL 和 Brev 設定自動化研究環境的過程。首先，當你（through the process of setting up your auto-research environment with NeMo RL and Brev. So first, when you）
- `03:00` 點擊部落格中的 Brev 可啟動連結時，你將會看到這個 Brev 可啟動網頁（click on the Brev launchable link in the blog, you will be presented with this Brev launchable web page）
- `03:09` 用於 NeMo RL 自動化研究，對吧？所以這已經預先配置好指向 NeMo RL 自動化研究（for NeMo RL auto-research, right? So this has been pre-configured to point to the NeMo RL auto-research）
- `03:19` 儲存庫，並包含所有必要的 skill。如你在此所見，這是一個 NVIDIA L40s 實例，對吧？（repository with all the required skills. So as you can see here, it is an NVIDIA L40s instance, right?）
- `03:31` 配置了一個 GPU、一個 CPU 和相當足夠的記憶體。這為你的自動化研究（Configured with one GPU and a CPU and a decent amount of RAM. This provides a great environment for your auto-research）
- `03:41` 實驗提供了絕佳的環境。它已連上網際網路，但與你的企業網路隔離，對吧？所以你有一個安全的（experimentation. It is internet-connected, yet disconnected from your corporate network, right? So you have a secure）
- `03:50` 環境來進行所有這些自動化研究實驗，對吧？Agent 可以在這裡，你知道，採取自主（environment for all these auto-research experiments, right? Where the agent can, you know, take autonomous）
- `03:58` 行動，對吧？但在一個安全的環境中。那麼，讓我們點擊部署。在這裡，我有一個 Visual Studio Code（action, right? Yet in a secure environment. So let's go ahead and click deploy. So here I have a visual studio code,）
- `04:10` 視窗，連接到 Brev 實例，對吧？而且，你可以在右側面板這裡聽到聊天（window, uh, connected to the Brev instance, right? And, uh, you can hear on the right panel here is a chat）
- `04:17` 紀錄。Codex 一直在處理我上一個請求，對吧？我上一個自動化研究請求已經（history. Codex has been working through my last request, right? My last auto-research request for the）
- `04:24` 持續了 15 分鐘，對吧？但讓我們往上查看聊天紀錄，對吧？所以這，提醒一下，（last 15 minutes, right? But let's go up and inspect the chat history, right? So this, uh, just to remind you,）
- `04:33` 這是一個全新的、空白的 Brev 實例，其中包含 NeMo RL 儲存庫的新複製版本，對吧？而我要求 Codex 做的第一個問題（this is a brand new, um, blank Brev instance with a new clone of the NeMo RL repository, right? And the very first problem）
- `04:45` 基本上就是我們之前看過的問題。閱讀論文、實作論文，並執行（that I asked Codex to do is basically the problem we've seen before. Read the paper, implement the paper, and run the,）
- `04:51` 關於 Qwen 1.3B 模型的測試，比較新演算法與現有的演算法。所以，（uh, you know, test on the Qwen 1.3B model, um, compare the new algorithm with the existing one. So,）
- `05:02` Codex 首先工作了大約 16 分鐘。它成功下載了論文、閱讀了論文、實作了（Codex first, you get to work for about, um, 16 minutes. It managed to download the paper, read the paper, implement）
- `05:09` 演算法，並實作了所有測試，這些測試都通過了。但不幸的是，它卡住了，並且（the algorithm, and implement all the tests, which is all passed. But unfortunately, it gets stuck and, and, uh,）
- `05:16` 無法進行訓練，因為問題在於 Brev 機器配備的是舊的驅動程式（cannot do the training because the issue was that the, uh, Brev machine comes with an old driver, uh,）
- `05:24` 版本，對吧？這與 NeMo RL 所要求的版本不相容，對吧？也就是 CUDA 13。（version, right? That is not compatible with, um, the one required by NeMo RL, right? Uh, which is CUDA 13.）
- `05:30` 我們在這裡停下來。嗯，我檢視了結果並要求它繼續解決相依性問題，然後繼續（So we stop here. Um, I review the results and ask it to continue to resolve the dependency and continue）
- `05:38` 進行測試，對吧？呃，它又運作了八分鐘，對吧？嗯，它取得了一些進展，（with the test, right? Uh, it, uh, worked for another eight minutes, right? Um, it's made some progress,）
- `05:43` 但仍然無法完全開始訓練，對吧？所以再次檢視結果並給它，（but still couldn't quite get with the training yet, right? So again, review the results and give it,）
- `05:50` 呃，另一個，你知道，推力，對吧？基本上是說，呃，告訴我們，繼續嘗試並繼續，呃，（uh, another, you know, push, right? Basically say, uh, tell us to, to keep trying and continue, uh, the,）
- `05:57` 呃，呃，測試演算法，對吧？所以這次它運作了將近兩個小時，對吧？而這次（the, the testing the algorithm, right? So this time it worked for about nearly two hours, right? And this）
- `06:04` 成功地進行了訓練並產生了，呃，一些結果，一些結果。你可以看到（time successfully proceed with the training run and produce, uh, some result, some result. You can see）
- `06:11` 這裡一直到這裡。事實上在過程中，呃，它確實解決了相當多非瑣碎的（here all the way here. Actually on the way, uh, it actually resolved quite a bit of non-trivial）
- `06:16` 軟體問題，對吧？解決了所有，嗯，你知道，版本衝突等問題，（software issue, right? Resolved all the, um, you know, conflicting version issue and so on and so forth,）
- `06:23` 對吧？直到它們成功完成訓練，對吧？但你可以看到這裡，雖然成功了，（right? Until they successfully do the training, right? But you can see here, although successful,）
- `06:28` 呃，準確度仍然很低。所以我檢視了結果。我過去常增加 batch size，（uh, the accuracy is still very small. So I review the result. I used to increase the batch size,）
- `06:33` 對吧？增加到大得多，因為它之前做的 batch size 是 1，這小得離譜。（right? To a much larger one because it was doing like batch size of one, which is ridiculously small.）
- `06:40` 所以這次，batch size 是 60 乘以 8，對吧？我要求它再次進行訓練。它又運作了（So this time, the batch size is 60 by 8, right? And I asked it to do the training again. It ran for）
- `06:46` 兩個小時，對吧？嗯，在產生最終報告之前，嗯，報告顯示準確度仍然很低。（another two hours, right? Um, before producing the final report, um, which still shows quite small）
- `06:54` 所以我再次花時間，呃，檢視 Codex 產生的結果，對吧？這是這兩個演算法的（accuracy. So again, I take my time, uh, review the result, uh, that codex produced, right? This is accuracy）
- `07:01` 準確度，對吧？我們顯示了，呃，內部的一些問題，但最終驗證準確度仍然很低。（just for the two algorithm, right? We show, uh, some problems inside, but still very small final）
- `07:07` 所以這次我要求 Codex，對吧，再次將 batch size 提高到大得多，（validation accuracy. So this time I asked codex, right, to again bump the batch size to a much larger）
- `07:14` 256 乘以 16，對吧？並執行 80 個訓練步驟。嗯，現在 Codex 只運作了約一（one, 256 by 16, right? And run for 80 training steps. Um, now codex get work for only about one）
- `07:22` 分鐘，然後它回來告訴我，喔，這在預備實例上需要花很長很長的時間，（minute and then they come back and tell me that, oh, this is going to take a long, long time on the）
- `07:26` 總共大約一百個小時，對吧？你想這樣做嗎？所以我告訴 Codex，（prep instance, about a hundred hours in total, right? Do you want to do that? So I tell codex,）
- `07:30` 嘿，我給你 20 小時的總預算，對吧？讓我們決定步驟數量，然後（hey, I give you a 20 hour total budget, right? Let's determine the number of steps and then）
- `07:35` 重新執行訓練並全程監控。所以基本上它已經運作了（rerun the training and monitor it through. So basically it's been working for）
- `07:39` 55 分鐘了。你可以看到，對吧？嗯，仍然在監控執行過程，你可以看到這裡，嗯，（55 minutes here. You can see, right? Um, still monitoring the run and you can see here, um,）
- `07:45` GPU 處於百分之百負載運作，對吧？如果你也看看，呃，呃，工作階段，呃，（the GPU is at work a hundred percent load, right? And if you look also at, uh, uh, session, uh,）
- `07:53` 時間軸，你可以看到這是一個，呃，Codex 記錄了最新的，呃，指令和決策，（timeline, you can see that this is a, uh, codex took note of the latest, uh, instruction and decision,）
- `07:59` 對吧？所以如果我們因為任何原因斷線，這對於恢復工作非常有用，對吧？那麼現場演示就到這裡。（right? So this is great for resuming from if we get disconnected for any reason, right? So that's it）
- `08:06` 好的。我們所看到的是，Agent 主導的 RL 研究確實縮短了從你的想法到測量結果的（for live demo. Okay. What we saw was that the agent-led RL research really kind of tighten up the）
- `08:12` 路徑。呃，我們看到 Codex 可以幫助我們執行複雜的（path from your idea to the measure result. Uh, we saw that codex can help us perform the complex）
- `08:17` 設定、實作、實驗、執行以及所有初步分析。我們看到（setup, implementation, experiment, execution, and all of the first pass analysis. We saw that）
- `08:24` skill 有助於保留該脈絡、管理我們的記憶並強制執行作業規則，以及建構（skills help preserve that context, manage our memory and forest operating rules and structure）
- `08:29` 設定和研究迴圈。我們也看到人類對於我們的判斷非常重要。（the setup and research loop. We also saw that humans are very important for our judgment.）
- `08:35` 如果你想了解更多關於這方面的資訊，我們有完整的部落格文章可以查看。（And if you wanted to learn more about this, we have a full blog that you can check out.）
- `08:39` 呃，這篇部落格文章將在下方的說明欄中提供。你也可以（Uh, this blog is going to be available in the description down below. You can also）
- `08:43` 使用 brev launchable 自己執行此操作，並根據你的任何 RL（use the brev launchable to run this yourself and adapt the workflow for whatever your RL）
- `08:48` 實驗需求來調整工作流程。非常感謝你的觀看，我們下期見。（experimentation needs are. Thanks so much for watching and we'll see the next one.）

## 標籤

Agent, 新產品, 研究論文, Benchmark, NVIDIA, Qwen