# BerkeleyRDI 開源 CUA-Lite，統一桌面、瀏覽器與行動裝置的 CUA 訓練評測介面

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 原作者：Dawn Song (@dawnsongtweets) · 策展與摘要：EasyVibeCoding · 平台：X (Twitter) · 熱度：🔥 · 日期：2026-09-01

> 原始來源：https://x.com/dawnsongtweets/status/2094492986252099710

## 證據與延伸閱讀

- [BerkeleyRDI 開源 CUA-Lite，統一桌面、瀏覽器與行動裝置的 CUA 訓練評測介面。](https://github.com/cua-lite/cua-lite) — 官方 Repository · 最後核對：2026-09-01 · 支持主張：The announcement describes a shared interface and action space, trace format, training and evaluation framework, optional VM-free sandboxes, and open agent, benchmark, and trace collections; the repository README provides one-schema and one-command workflows.
- [BerkeleyRDI 開源 CUA-Lite](https://x.com/dawnsongtweets/status/2094492986252099710)
- [動圖展示跨平台運作](https://video.twimg.com/tweet_video/HREgZxPa0AAFFYi.mp4)

## 中文摘要

BerkeleyRDI 開源 CUA-Lite，統一桌面、瀏覽器與行動裝置的 CUA 訓練評測介面。

Dawn Song 於 2026 年 8 月 31 日介紹這項由 BerkeleyRDI 主導的社群開源計畫。

**核心問題** CUA（Computer-Use Agents）的訓練與 benchmark 目前缺乏共同標準：

- 每個 agent 通常有獨立實作與程式庫，彼此難以直接執行。
- 各環境使用不同介面與 action space，驗證任務常需要昂貴的 VM 沙盒。
- agent trajectory 的 trace 格式互不相容。
- 評測、SFT 與 RL 缺乏共用框架，導致各專案重複建立工具。

**統一架構** CUA-Lite 將整個 stack 收斂成四個核心部分：

- Agents：模型與驅動模型的 scaffolding。
- Environments：提供執行環境或沙盒、任務，以及 verifier／grader。
- Traces：記錄 agent 執行過程的軌跡。
- Frameworks：用於評測、SFT 與 RL 訓練。

平台提供統一的介面與 action space、標準化 trace 格式，以及涵蓋 desktop、browser、mobile 的訓練與評測框架。README 將其概括為「one schema, one interface, one command」，讓使用者能組合 agent 與 environment、取樣標準化 trajectory，再準備 SFT 或 RL 資料。

**開放資源** 發布時的 repository 與資料集合包含：

- 10+ 個 CUA，包括 GPT、Claude、Gemini、Qwen、Muse-Glimmer、UI-TARS；README 另列出 MAI-UI 等內建 agent。
- 15+ 個 benchmark，包括 OSWorld、OSWorld-2、WindowsAgentArena、WebArena、WebVoyager、AndroidWorld 與 MobileWorld。
- 30K+ 個可驗證任務，搭配可選的免 VM 沙盒，用於大規模訓練與 benchmark。
- 10+ 個 trace dataset，包含已轉換成標準格式的公開資料集，以及 frontier open-weight CUA 的新 rollouts，並可在 Hugging Face 取得。

這些數量反映發布與 repository 當下的快照；實際訓練成本與效能仍取決於環境、model 與 framework 設定。

**資料與工作流程** 所有環境、agent 與任務類型共用 `LiteSample` schema；每個 agent 再透過 adapter 轉換成自身的 scaffolding。平台支援將既有 CUA dataset 預處理成可用於 fine-tuning 的格式，也能把 GPT-5.5 等 teacher 的 rollout 轉成相同格式，再蒸餾給 student。README 提供的安裝步驟如下：

```bash
uv sync --all-extras
# install deps for the quick start below
git submodule update --init
# optional — pulls the slime submodule, needed for training
```

快速取樣 trajectory 的 Python 範例如下：

```python
import asyncio
import lite.gym as gym
import lite.agents as agents

env = gym.make("lite.demo@create_file", max_steps=10)
agent = agents.make("gpt-5.5", env=env)
result = asyncio.run(agent.sample(env))
```

回傳結果是 `LiteRLSample`，包含 `episode_return`、`terminated`、`truncated`、每回合的 `steps`，以及包含 messages、metadata 與 reward 的 `lite_sample`。

**展示與實際影響** 動圖展示同一概念如何跨平台運作：桌面試算表中計算分數平均值、瀏覽器搜尋 `cua-lite`，以及手機通訊介面輸入「yep - desktop, browser & mobile」。這些畫面顯示的是 demo 的操作流程，不能單獨視為額外的正式規格。開發者可先檢查共用介面與 action schema，再比較 benchmark、dataset、沙盒與 model 要求，決定是否移植現有 agent 或擴大實驗；社群也能提交 environment、trace 或 agent，接入這個統一生態系。屆時仍需人工核對各環境的相容性、資源需求與實際評測結果。 

<video src="https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/1788254132835-8kali1bs.mp4" poster="https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/3fa851524f7d3610.jpg" autoplay loop muted playsinline preload="metadata" style="max-width:100%;height:auto;display:block;margin:1rem 0"></video>
> CUA-Lite 在桌面試算表、瀏覽器與手機通訊介面中展示命令列操作與指令執行流程

## 媒體內容

**CUA-Lite 在桌面試算表、瀏覽器與手機通訊介面中展示命令列操作與指令執行流程**

**影片中的 Prompt 與操作**

Prompt（00:00）：

```
將分數平均計算
```

原文：average the scores

Prompt（00:06）：

```
查詢 cua-lite
```

原文：look up cua-lite

Prompt（00:11）：

```
關於 cua-lite 的文字
```

原文：text about cua-lite

操作步驟：

1. （00:00）`$ rollout.py --platform desktop --instruction "average the scores"`
2. （00:01）點擊儲存格 B6
3. （00:02）點擊算式輸入列
4. （00:03）輸入 `=AVERAGE(B2:B5)`
5. （00:04）按下 Enter 鍵確認
6. （00:06）`$ rollout.py --platform browser --instruction "look up cua-lite"`
7. （00:07）點擊瀏覽器搜尋框
8. （00:08）輸入 `cua-lite`
9. （00:09）點擊搜尋結果中的 GitHub 連結
10. （00:11）`$ rollout.py --platform mobile --instruction "text about cua-lite"`
11. （00:13）點擊手機 iMessage 輸入框
12. （00:14）輸入 `yep - desktop, browser & mobile`
13. （00:15）點擊傳送按鈕

## 標籤

開源專案, 新產品, CUA-Lite, Dawn Song, GPT-5.5, Claude, Gemini, Qwen, Muse Glimmer, UI-TARS-1.5-7B, BerkeleyRDI, Hugging Face, OSWorld, OSWorld-2, WindowsAgentArena, WebArena, WebVoyager, AndroidWorld, MobileWorld
