功能概述

Anthropic 推出「Computer use」功能至 Claude Code CLI，讓 Claude 能直接在 macOS 上打開應用程式、點擊UI、輸入文字並查看螢幕內容。這項研究預覽功能開放給 Pro 和 Max 方案使用者，Claude 可在單一對話中完成完整工作流：撰寫程式碼、編譯、啟動應用、與 UI 互動、找出 bug 並驗證修復。

核心能力

Computer use 讓 Claude 在不離開終端的情況下處理需要 GUI 的任務：

• 建構並驗證原生應用：請 Claude 建立 macOS 菜單列應用程式，它會撰寫 Swift、編譯、啟動，並點擊每個控制項驗證功能，無須使用者手動操作
• End to End (端到端) UI 測試：指向本地 Electron 應用並要求「測試登入流程」，Claude 開啟應用、點擊簽帳流程各步驟並截圖，無須 Playwright 設定或測試框架
• 除錯視覺與版面問題：描述「模態視窗在小視窗上被裁切」，Claude 會調整視窗大小、重現 bug、截圖、修補 CSS 並驗證修復。Claude 看到的與使用者看到的相同
• 驅動僅 GUI 介面工具：與設計工具、硬體控制面板、iOS Simulator 或無 CLI/API 的專有應用程式互動

工具優先級與應用場景

Claude 具備多種與應用互動的方式，Computer use 是最廣泛但最緩慢的工具。系統按優先級選擇：

• 若有該服務的 MCP server，Claude 使用該服務
• 若任務是 shell 指令，Claude 使用 Bash
• 若任務涉及瀏覽器工作且已設定 Chrome 中的 Claude，Claude 使用該工具
• 若上述皆不適用，Claude 才使用 Computer use

Screen control 保留給無法由其他工具觸及的目標：原生應用、Simulator 和無 API 的工具。

啟用與權限設定

Computer use 以內建 MCP server「computer-use」形式提供，預設關閉：

• 在互動式 Claude Code 工作階段中執行 /mcp，在伺服器清單中找到「computer-use」（顯示為停用）
• 選擇並啟用該伺服器，此設定按專案保存，每個專案只需設定一次
• Claude 首次使用電腦時，需授予兩項 macOS 權限：Accessibility（讓 Claude 點擊、輸入、捲動）和 Screen Recording（讓 Claude 查看螢幕內容）
• 設定後可直接要求 Claude 執行需要 GUI 的任務

應用程式級別的安全許可

啟用 computer-use server 不代表 Claude 可存取機器上的所有應用程式。每個工作階段中，Claude 首次需要特定應用程式時，終端會出現提示框顯示：

• Claude 想控制哪些應用程式
• 任何額外的權限請求（如剪貼簿存取）
• Claude 工作期間將隱藏的其他應用程式數量
• 使用者可選擇「允許本工作階段」或「拒絕」

許可只對目前工作階段有效，可在 Claude 同時要求多個應用程式時一次批准。具有廣泛影響力的應用程式（Terminal、iTerm、VS Code、Warp 等終端及 IDE）在提示中會顯示額外警告「相當於 shell 存取權限」；Finder 會顯示「可讀寫任何檔案」；System Settings 會顯示「可變更系統設定」。這些應用程式未被阻止，警告僅讓使用者決定任務是否值得該等級的存取權。

執行流程與控制機制

Claude 在螢幕上的工作流程遵循特定邏輯：

• Computer use 保持機器層級的 lock，若另一個 Claude Code 工作階段已在使用電腦，新嘗試會失敗並告知哪個工作階段持有 lock
• Claude 開始控制螢幕時，其他可見應用程式會被隱藏，使 Claude 只與已批准應用程式互動。終端視窗保持可見且被排除在截圖外，使用者可監看工作階段且 Claude 無法看到自己的輸出
• 使用者可隨時按 Esc 中止目前動作或在終端按 Ctrl+C，Claude 會立即釋放 lock、復原隱藏的應用程式並將控制權返還給使用者
• Claude 完成工作時自動復原隱藏應用程式

安全邊界與防護機制

與沙盒 Bash 工具不同，Computer use 在實際桌面上執行，對已批准應用程式有存取權。Claude 檢查每項動作並標記螢幕內容中的潛在 prompt injection。系統內建的防護措施在不需配置的情況下降低風險：

• 每應用程式批准：Claude 只能控制目前工作階段已批准的應用程式
• 哨兵警告：授予 shell、檔案系統或系統設定存取權的應用程式在批准前會被標記
• 終端排除於截圖外：Claude 無法看到終端視窗，工作階段中的螢幕提示無法回饋至模型
• 全域逃生機制：Esc 鍵可從任何地方中止 computer use，按鍵會被消耗使 prompt injection 無法用它關閉對話
• Lock 檔案：同時只有一個工作階段可控制機器

實際應用範例

用戶可要求 Claude「建構 MenuBarStats target，啟動它，開啟偏好設定視窗，驗證間隔滑桿更新標籤。完成時截圖偏好設定視窗」；或在視覺 bug 僅於特定視窗大小出現時要求「將應用程式視窗調整到窄寬度直到重現設定模態視窗的頁腳裁切問題，截圖被裁切的狀態，然後檢查模態容器的 CSS」；或駕駛 iOS Simulator：「開啟 iOS Simulator，啟動應用程式，點擊登入畫面，告訴我任何畫面是否需要超過一秒才能載入」。Claude 控制 Simulator 的方式與使用滑鼠相同。

可用性與限制

Computer use 為 macOS 專屬研究預覽功能，需要 Pro 或 Max 方案（Team 或 Enterprise 方案不可用），需 Claude Code v2.1.85 或更新版本與互動工作階段，非互動模式（-p 旗標）不可用。目前不支援 Linux 或 Windows。用戶必須透過 claude.ai 認證，第三方提供者如 Amazon Bedrock、Google Cloud Vertex AI 或 Microsoft Foundry 無法使用此功能。