# Qwen-CUA 以螢幕截圖與原生鍵鼠事件操作各類軟體

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 原作者：Dunjie Lu (@DunjieLu1219) · 策展與摘要：EasyVibeCoding · 平台：X (Twitter) · 熱度：🔥🔥 · 日期：2026-08-04

> 原始來源：https://x.com/dunjielu1219/status/2083967342435020889

## 證據與延伸閱讀

- [Qwen-CUA 以螢幕截圖與原生鍵鼠事件操作各類軟體](https://github.com/xlang-ai/Qwen-CUA) — 官方 Repository
- [螢幕截圖數量擴展至20張](https://github.com/xlang-ai/Qwen-CUA/blob/main/assets/readme/visual-history.png) — 官方 Repository
- [訓練架構使用Alibaba Cloud ECS](https://github.com/xlang-ai/Qwen-CUA/blob/main/paper/Qwen-CUA.pdf) — 官方 Repository
- [OSWorld-Verified得分86.2](https://github.com/xlang-ai/Qwen-CUA/blob/main/assets/readme/main-results.png) — 官方 Repository

## 中文摘要

Qwen-CUA 以螢幕截圖與原生鍵鼠事件操作各類軟體。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/a2ee4f0df59f370f.jpg)
> Qwen 與 XLANG Lab 合作推出的 Qwen-CUA 宣傳橫幅，左側標示「Qwen-CUA」與標語「Native Computer Use for (almost) Everything」，右側站立一隻穿著印有 Qwen logo 白 T 恤的棕色熊吉祥物，右手持紫色游標指標、左手持鍵盤，背景為交疊的各種電腦視窗、應用程式介面與圖表。

**原生互動能力** Qwen-CUA 的設計重點不是單純「點擊螢幕」，而是在不使用 DOM、無障礙樹、其他隱藏的機器可讀狀態或任務專用 API 的前提下，從使用者可見的像素完成工作。

- **Native Perception**：只接收螢幕截圖，根據視覺狀態理解目前介面。
- **Native Interaction**：輸出原生鍵盤與滑鼠事件，可跨瀏覽器、桌面應用程式及專業軟體操作。
- **Native Intelligence**：維持長期視覺脈絡、驗證進度，並從大量有可驗證結果的互動經驗中學習。
- Agent 可在檢查頁面、規劃、執行、因介面變動而復原，以及驗證結果之間持續循環。

Dunjie Lu 將這項能力定位為更通用 Agent 的介面堆疊：Agent 不只能呼叫程式碼與 API，也能在過去通常需要人類坐在鍵盤前操作的軟體與流程中工作。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/ffd403a42af88bf2.png)
> 八項 benchmark 的總覽圖，列出各模型在多個電腦使用評測上的分數。

**長期視覺脈絡** 電腦操作軌跡天生高度依賴影像，每次互動都會新增一張螢幕截圖，工作流程越長，視覺脈絡成本就越高。Qwen-CUA 以兩項機制處理這個問題：

- **Active visual history**：保留的螢幕截圖數量逐代從 1、5、10 擴展到 20 張，讓近期畫面維持完整視覺資訊。
- **Blockwise folding**：當視覺預算超過上限時，一次將 10 張較舊截圖折疊成固定 placeholder；原有推理與動作仍保留在軌跡中，近期截圖則維持完整形式。
- 分塊折疊可讓 prompt 前綴在連續多個步驟間保持穩定，提升 KV-cache 重用率，避免每次互動都重寫整段歷史。
- 訓練與推論使用同一個 deterministic folding operator 切分長期 RL 軌跡，不需要額外的 summarization model，讓兩個階段保持一致。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/c7717ed8617ec293.jpg)
> Qwen-CUA 將 active context 中保留的截圖數量提升至 20 張，延續 Qwen 各代模型的成長趨勢。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/78ccd6ba0e089c1c.jpg)
> Qwen-CUA 採用一次折疊 10 張截圖的區塊更新機制，在步驟 21 至 30 保持 shared prefix 穩定，避免逐步更新產生的 cache miss。

**大規模訓練系統** Dunjie Lu 強調，Computer Use 能力並非只靠模型規模，而是必須同步擴展整套訓練系統，包括環境、可驗證任務、rollout 吞吐量，以及每輪訓練使用的資料分布。Qwen-CUA 建置在 Alibaba Cloud ECS 上，使用接近 100K vCPUs，支援數萬個並行且具狀態的 Computer Use 環境，並建立約 40K 個涵蓋多種軟體與工作流程的可驗證任務。

訓練採 successive runs，而不是單次不中斷的最佳化：

1. 每次訓練後，找出尚未解決的任務與表現較弱的領域。
2. 以新的人類軌跡與模型 rollout 更新 SFT 資料混合。
3. 重新建立 RL 任務集，保留「可解但尚未飽和」的案例。
4. 在 OSWorld-Verified、OSWorld 2.0 與 ScienceBoard 上評估新模型，再以結果刷新下一輪資料與任務分布。

這些 successive runs 的效能提升，反映的是模型、教師策略、資料混合、領域覆蓋率與任務分布同時變化的結果，不能把它解讀成同一組設定一路穩定收斂的結果。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/17630deedb4080c8.jpg)
> Qwen-CUA 在 OSWorld-Verified benchmark 取得 86.2 分的高分，大幅領先 Qwen3-VL（38 分）至 Qwen3.7（73 分）等前幾世代模型。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/0abe5cc9e2fc4595.jpg)
> Qwen-CUA 隨著訓練迭代進程評估分數持續成長，最終在 OSWorld-Verified 達到 86.2、ScienceBoard 達到 64.5 以及 OSWorld 2.0 達到 48.4 分

**思考與執行效率** Qwen-CUA 將 Agentic efficiency 分成兩個互補面向：token efficiency，也就是完成任務所需的模型推理量；以及 interaction efficiency，也就是 Agent 在連續多個回合操作環境時，動作有多精簡。

在 OSWorld-Verified 上，Qwen-CUA 得分 86.2，每項任務約使用 3.6K output tokens；Claude Opus 4.8 得分 83.3，卻使用 21.8K tokens。這顯示 Qwen-CUA 的表現不只是依靠更冗長的推理。不過在 OSWorld 2.0 上，Qwen-CUA 使用較多模型回合，而回合數並不等同於動作數：GPT-5.5 與 Claude Opus 4.8 能在一個回合批次執行多個動作，Qwen-CUA 目前則是每回合輸出一個原生動作。因此，下一步是保留 token efficiency 的同時，學會更精簡的多動作執行與 adaptive tool routing。

> **圖表口徑**：前面的八項 benchmark 總覽圖中，Claude Opus 4.8 在 OSWorld-Verified 為 83.4、OSWorld 2.0 Binary 為 20.3；本段後面兩張效率圖則分別用「每項任務的 output tokens」與「每項任務的平均回合數」當橫軸，圖上點位是 83.3 與 20.6。這些數字來自不同圖表，不能混在一起比較。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/8c796cb0274e7a83.jpg)
> OSWorld-Verified 的 output tokens / task 效率圖：Qwen-CUA 為 86.2%／約 3.6K tokens，Claude Opus 4.8 為 83.3%／21.8K tokens，GPT-5.5 computer tool 為 78.7%／約 5.5K tokens。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/d332d1f130c9daa5.jpg)
> OSWorld 2.0 (Binary) 的平均回合數／Binary score 效率圖：Claude Opus 4.8 為 20.6%，Qwen-CUA 為 18.5%，GPT-5.5 computer tool 為 13.9%。

**模型規模與效能** Qwen-CUA 採用 397B-A17B mixture-of-experts 模型；為驗證同一套 Agentic 訓練方法是否仍能從更大容量受益，團隊進一步擴展出總參數超過一兆的 Qwen-CUA-Max。兩者使用相同的原生 Computer Use 介面與評估協定，Qwen-CUA-Max 的三項指標均提升：

- OSWorld-Verified：86.2 → 87.6
- OSWorld 2.0 Binary：18.5 → 21.2
- OSWorld 2.0 Partial：48.4 → 53.3

其中 OSWorld 2.0 Partial 的增幅最大，暗示額外模型容量特別有助於在困難的長期工作流程中持續取得部分進展，也顯示這套訓練方法仍能受益於模型擴展。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/785ccb9b549fd07a.jpg)
> Qwen-CUA-Max (>1T) 在 OSWorld-Verified、OSWorld 2.0 Binary 及 OSWorld 2.0 Partial 等評測上的得分均高於 Qwen-CUA (397B-A17B)。

**開放內容與實作** Qwen Team × XLang Lab 共同開發 Qwen-CUA。引用的程式庫目前提供 Technical Report 與可執行的 browser-first reference agent，模型權重不包含在程式庫中；本機 demo 可檢視截圖、動作、核准流程與原始模型回應，並保存事件、截圖、下載內容及 deterministic verification evidence。原始貼文提供的技術報告位於 [Qwen-CUA Technical Report](https://github.com/xlang-ai/Qwen-CUA/blob/main/paper/Qwen-CUA.pdf)，程式碼位於 [Qwen-CUA](https://github.com/xlang-ai/Qwen-CUA)。

若要依引用來源的步驟準備 demo，指令如下：

```bash
git clone https://github.com/xlang-ai/Qwen-CUA.git
cd Qwen-CUA/demo
cp .env.example .env
```

接著依照 [demo quick start](https://github.com/xlang-ai/Qwen-CUA/blob/main/demo/README.md#native-quick-start) 連接 OpenAI-compatible multimodal endpoint 並啟動 operator console。

**安全限制** 引用來源提醒，Computer-use agents 可能犯錯、遭遇 prompt injection，或做出會造成實際後果的介面操作；建議使用隔離的瀏覽器 context，避免用於已登入或高風險工作流程，並要求人工核准敏感操作。即使模型宣告成功，也不能證明預期的現實結果確實已完成。

## 媒體內容

**八項 benchmark 的總覽圖，列出各模型在多個電腦使用評測上的分數。**

**數據表（1）OSWorld-Verified**

| 項目 | 數值 |
| --- | --- |
| Qwen-CUA-Max | 87.6 |
| Qwen-CUA | 86.2 |
| Qwen-3.7 | 73.3 |
| GPT-5.5 | 78.7 |
| Opus-4.8 | 83.4 |
| Muse-Spark-1.1 | 80.8 |

**數據表（2）OSWorld 2.0**

|   | Score | Binary | Score | Binary | Score | Binary | Score | Binary | Score | Binary | Score | Binary |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| Qwen-CUA-Max | 47.3 | 14.2 | 47.3 | 14.2 | 47.3 | 14.2 | 47.3 | 14.2 | 47.3 | 14.2 | 47.3 | 14.2 |

**數據表（3）MyPCBench**

| 項目 | 數值 |
| --- | --- |
| Qwen-CUA-Max | 58.7 |
| Qwen-3.7 | 51.6 |
| GPT-5.5 | 47.3 |
| Opus-4.8 | 62.0 |
| Muse-Spark-1.1 | 46.2 |

**數據表（4）MacAgentBench**

| 項目 | 數值 |
| --- | --- |
| Qwen-CUA-Max | 69.2 |
| Qwen-3.7 | 57.1 |
| GPT-5.5 | 66.7 |
| Opus-4.8 | 58.4 |

**數據表（5）Gym-Anything**

| 項目 | 數值 |
| --- | --- |
| Qwen-CUA-Max | 46.3 |
| Qwen-3.7 | 33.1 |
| GPT-5.5 | 45.6 |
| Opus-4.8 | 47.3 |

**數據表（6）ScienceBoard**

| 項目 | 數值 |
| --- | --- |
| Qwen-CUA-Max | 64.50 |
| Qwen-3.7 | 35.50 |
| GPT-5.5 | 65.08 |
| Opus-4.8 | 66.80 |

**數據表（7）WebArena**

| 項目 | 數值 |
| --- | --- |
| Qwen-CUA-Max | 64.16 |
| Qwen-3.7 | 46.20 |
| GPT-5.5 | 68.90 |
| Opus-4.8 | 65.60 |

**數據表（8）RedTeamCUA**

| 項目 | 數值 |
| --- | --- |
| Qwen-CUA-Max | 74.0 |
| Qwen-3.7 | 70.5 |
| GPT-5.5 | 75.7 |
| Opus-4.8 | 80.7 |

**Qwen-CUA 將 active context 中保留的截圖數量提升至 20 張，延續 Qwen 各代模型的成長趨勢。**

**數據表**

|   | 保留截圖數 |
| --- | --- |
| Qwen2.5 | 1 |
| Qwen3 | 5 |
| Qwen3.5 | 10 |
| Qwen-CUA | 20 |

**Qwen-CUA 採用一次折疊 10 張截圖的區塊更新機制，在步驟 21 至 30 保持 shared prefix 穩定，避免逐步更新產生的 cache miss。**

**數據表（1）Per-step folding**

|   | 歷史 | 現象 |
| --- | --- | --- |
| 步驟 21 | folded 1-10 | prefix changes -> cache miss |
| 步驟 22 | folded 1-11 | prefix changes -> cache miss |
| 步驟 23 | folded 1-12 | prefix changes -> cache miss |

**數據表（2）Qwen-CUA: fold 10 screenshots at once**

| 項目 | 數值 |
| --- | --- |
| 共享前綴 (steps 21-30) | 歷史 folded 1-10 |
| 步驟 21 | 歷史 folded 1-10 · 圖像預算 20-image budget |
| 步驟 22 | 歷史 folded 1-10 · 圖像預算 20-image budget |
| 步驟 30 | 歷史 folded 1-10 · 圖像預算 20-image budget |
| 步驟 31 | 狀態 fold the next 10 |

**Qwen-CUA 在 OSWorld-Verified benchmark 取得 86.2 分的高分，大幅領先 Qwen3-VL（38 分）至 Qwen3.7（73 分）等前幾世代模型。**

**數據表**

|   | OSWorld-Verified score |
| --- | --- |
| Qwen3-VL | 38 |
| Qwen3.5 | 46 |
| Qwen3.6 | 62 |
| Qwen3.7 | 73 |
| Qwen-CUA | 86.2 |

**Qwen-CUA 隨著訓練迭代進程評估分數持續成長，最終在 OSWorld-Verified 達到 86.2、ScienceBoard 達到 64.5 以及 OSWorld 2.0 達到 48.4 分**

**數據表**

|   | 起始 | 最佳 | 結束 |
| --- | --- | --- | --- |
| OSWorld-Verified | 74.0 | 86.2 | 86.2 |
| ScienceBoard | 37.5 | 64.5 | 64.5 |
| OSWorld 2.0 | 24.0 | 48.4 | 48.4 |

**OSWorld-Verified 的 output tokens / task 效率圖：Qwen-CUA 為 86.2%／約 3.6K tokens，Claude Opus 4.8 為 83.3%／21.8K tokens，GPT-5.5 computer tool 為 78.7%／約 5.5K tokens。**

**數據表**

| 項目 | 數值 |
| --- | --- |
| Claude Opus 4.8 | 起始 (2,800, 78.4%) · 最佳/結束 (21,800, 83.3%) |
| GPT-5.5 computer tool | 起始 (2,400, 76.4%) · 最佳/結束 (5,500, 78.7%) |
| Qwen-CUA | 單點 (約 3.6K, 86.2%) |

**OSWorld 2.0 (Binary) 的平均回合數／Binary score 效率圖：Claude Opus 4.8 為 20.6%，Qwen-CUA 為 18.5%，GPT-5.5 computer tool 為 13.9%。**

**數據表**

| 項目 | 數值 |
| --- | --- |
| Claude Opus 4.8 | 起始 (92, 12.4%) · 最佳 (106, 20.6%) · 結束 (106, 20.6%) |
| GPT-5.5 computer tool | 起始 (22, 0.9%) · 最佳 (83, 13.9%) · 結束 (83, 13.9%) |
| Qwen-CUA | 單點 (219, 18.5%) |

**Qwen-CUA-Max (>1T) 在 OSWorld-Verified、OSWorld 2.0 Binary 及 OSWorld 2.0 Partial 等評測上的得分均高於 Qwen-CUA (397B-A17B)。**

**數據表**

|   | Qwen-CUA (397B-A17B) | Qwen-CUA-Max (>1T) |
| --- | --- | --- |
| OSWorld-Verified | 86.2 | 87.6 |
| OSWorld 2.0 Binary | 18.5 | 21.2 |
| OSWorld 2.0 Partial | 48.4 | 53.3 |

## 標籤

ComputerUse, AIGC, 新產品, Qwen, Alibaba