← 返回首頁

Immersive Web SDK 引入 Agent 工作流,實現 VR 程式開發自動化

Meta Horizon Developers
Meta Horizon Developers
@MetaHorizonDevs
568🔁 99
𝕏 (Twitter)🔥🔥🔥🔥

AI 語音朗讀 · Edge TTS

AI 中文摘要Claude 生成

Immersive Web SDK 引入 Agent 工作流,實現 VR 程式開發自動化。

Meta 推出的「Immersive Web SDK (IWSDK)」現已整合 Agent 工作流,讓開發者僅需透過自然語言描述,即可由 AI 自動完成 VR 網頁應用程式的建構、測試與除錯,無需手動編寫程式碼。

Agent 工作流與閉環系統
IWSDK 的核心在於建立一個閉環系統,讓 AI 不僅能生成程式碼,還能主動進行測試與驗證,確保產出品質。透過此機制,開發者能獲得更高的生產力:

  • 知識型程式碼生成:Agent 能存取並遍歷完整的 IWSDK 文件與程式庫,確保生成的程式碼符合框架模式與最佳實踐。
  • 場景理解與測試:Agent 會擷取 VR 場景截圖,辨識物件的位置、配置與命名,並能與虛擬世界互動,例如移動、拾取物件、按下按鈕或模擬手勢,以測試動態環境下的功能運作。
  • 自動驗證與修復:若發現錯誤,Agent 可自行修改程式碼並重新測試,直到問題解決。團隊成員也能透過自然語言回饋(如「物件移動太快」)來微調體驗,Agent 會自動對應至正確物件並調整設定。

實際應用與開發效率
為了驗證 Agent 工作流的效能,開發團隊以 WebXR 應用「Project Flowerbed」為測試對象。該專案原先需要數萬行自訂程式碼才能完成,透過 Agent 工作流,團隊僅利用既有的創意 asset,便在 15 小時內從零開始重建了整個應用程式。此流程證明了 AI 不僅能修復拼字錯誤或生成樣板程式碼,更能建構完整的互動式 VR 體驗。

技術架構與空間理解
IWSDK 內建專門的 AI 整合層,賦予程式開發助手對即時 3D 場景的空間理解能力。其技術架構包含:

  • MCP (Model Context Protocol) 伺服器:連接 AI 程式開發工具與 Vite 開發伺服器,透過 WebSocket 橋接至瀏覽器。
  • 專用工具集:提供超過 40 種工具,涵蓋場景檢查、XR 裝置模擬、ECS 除錯及語意程式碼搜尋。
  • 實體元件系統 (ECS):基於 Three.js 與 ELICS 構建,支援即時熱重載 (Hot-reload)。
  • 準確的 API 參考:透過本地 RAG 伺服器搜尋超過 3,000 個索引程式碼片段,確保 AI 引用真實的函數簽章,避免產生幻覺。

快速上手與部署
IWSDK 旨在降低 VR 開發門檻,開發者無需頭戴式裝置即可在瀏覽器中進行開發與測試:

  • 專案建立:執行 npm create @iwsdk 指令即可自動配置環境。
  • 支援工具:相容於 Claude Code、Cursor、GitHub Copilot 與 Codex 等主流 AI 程式開發工具。
  • 部署靈活:可透過 AI 工具協助部署至 GitHub Pages、Vercel 或 Netlify 等平台,並透過連結分享,讓使用者即時存取 VR 體驗。