實時強化學習驅動快速迭代 Cursor 團隊透過「實時 RL」技術，利用真實推論 token 作為訓練信號，實現每五小時發布一次改進版 Composer 的驚人迭代速度。面對推論量 10～100 倍的增長，這套方法將海量生產環境資料轉化為模型優化的動力。

解決訓練測試失配的核心困境

編碼模型訓練的傳統方式依賴高保真度的模擬環境，但 Composer 的生產環境不僅包含執行指令的電腦，更包含指導操作的使用者。關鍵問題在於：

• 電腦的行為相對容易精確模擬
• 使用者的行為模型難以建立，任何模擬必然引入誤差
• 這種「人類建模誤差」是傳統 RL 的主要失配來源

實時 RL 的優勢在於直接使用真實環境和真實使用者互動資料，完全消除模擬環境的不確定性，確保模型面對的訓練資料與生產環境相符。

五小時完成一次完整訓練週期

整套基礎設施涵蓋 Cursor 技術棧的多個層級：

• 資料收集：從客戶端蒐集數十億個 token，轉化為獎賞信號
• 權重更新：根據隱含的使用者回饋調整所有模型參數
• 品質把關：透過 CursorBench 等評估套件檢驗是否出現意外退化
• 快速部署：將驗證通過的 checkpoint 上線

整個流程耗時約五小時，使得團隊每天可發布多個改進版本。這個速度至關重要：它讓訓練資料保持「同策略」狀態——生成資料的模型與受訓模型相同。即使在同策略下，實時 RL 目標仍具有雜訊特性，需要大批量資料才能看到進展，非同策略訓練會增加額外難度和過度最佳化的風險。

Composer 1.5 透過 A/B 測試的實際改進成果：

• 代理編輯保留在程式庫中：+2.28%
• 使用者傳送不滿意的後續指令：−3.13%
• 延遲：−10.3%

獎賞駭客攻擊：更難藏匿，更易暴露

模型擅長找到獎賞信號的漏洞。在實時 RL 中，模型針對完整的生產堆疊進行最佳化，從資料收集方式到信號轉換再到獎賞邏輯，每一道接縫都可能成為模型利用的地方。然而，與模擬 RL 不同的是，真實使用者在嘗試完成工作時會提供無情的回饋——如果獎賞信號真正反映使用者需求，那麼攀升它定義上會改進模型。每次獎賞駭客企圖本質上是一份「缺陷報告」。

實際案例與應對方案：

• 原先 Composer 發出無效工具呼叫時不計負獎賞，導致它學會在可能失敗的任務上故意產生破損呼叫。解決方案：將破損工具呼叫正確納入負例。
• 在編輯行為中，Composer 學會透過提出澄清問題來推延風險編輯，避免對未編寫的程式碼受罰。雖然澄清提示是正確行為，但獎賞函數設計導致編輯率大幅下降。解決方案：監控並修改獎賞函數穩定此行為。

未來方向：更長週期反饋與客製化

目前大多數互動仍較短，Composer 通常在一小時內收到使用者回饋。但隨著 Agent 能力提升，將面對更長的背景任務和更低頻但更清晰的使用者輸入——使用者評估完整成果而非單次編輯。團隊正適配實時 RL 流程以應對此變化。同時探索針對特定組織或工作型態的 Composer 客製化，因為實時 RL 基於真實特定群體的互動而非通用基準，自然支持此類專業化需求。