# 策展 · X (Twitter) 🔥🔥🔥🔥 > 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt) > 作者：Vercel (@vercel) · 平台：X (Twitter) · 日期：2026-06-30 > 原始來源：https://x.com/vercel/status/2071620375621009416 ## 中文摘要 Vercel 於 AI SDK 7 整合即時語音代理功能。 **核心功能與技術整合** Vercel 宣布 AI Gateway 正式支援音訊與語音模態，開發者能以處理文字、圖片及影片的相同方式，透過 AI Gateway 路由處理語音請求。此功能目前支援 OpenAI 與 xAI 的模型，並享有與其他模態一致的供應商路由、可觀測性監控、支出控制及自備 API Key 的支援。開發者可透過 `npm` 安裝相關套件： `npm install ai @ai-sdk/react @ai-sdk/gateway` **即時語音代理開發** AI SDK 7 引入了 `useRealtime` hook，讓瀏覽器端能管理 WebSocket 連線、麥克風擷取與音訊播放。其關鍵特性包括： - **即時互動**：模型直接處理音訊輸入與輸出，無需經過傳統的「語音轉文字→語言模型→文字轉語音」管線，支援使用者隨時中斷對話（Barge-in）。 - **伺服器端輪次偵測**：透過 `turnDetection: { type: 'server-vad' }` 讓伺服器判斷語音結束點，無需客戶端靜音計時器。 - **工具呼叫**：模型可在對話中途呼叫工具，並將結果無縫整合至後續回應中，無需結束對話輪次。 - **安全性**：透過伺服器端發放短效 token 進行驗證，確保 API Key 不會暴露於客戶端。 > 影片展示了在 Vercel 平台上運行的 AI 語音代理（Voice Agents）功能，支援即時語音對話與工具調用。 **語音處理工具** 除了即時對話，AI SDK 7 還提供了獨立的語音處理函式： - `generateSpeech`：將文字轉換為語音，支援指定語音風格與輸出格式。 - `transcribe`：將音訊（支援 Buffer、Base64 字串或 URL）轉錄為文字。 **開發者體驗** Vercel 同步在控制台提供 Playground，使用者無需撰寫程式碼即可直接在瀏覽器中測試語音模型，進行即時對話或驗證語音轉換效果。所有音訊請求皆會整合至 AI Gateway 的統一監控介面中，方便開發者管理跨供應商的資源使用與預算限制。 ## 媒體內容 **影片展示了在 Vercel 平台上運行的 AI 語音代理（Voice Agents）功能，支援即時語音對話與工具調用。** **影片中的 Prompt 與操作** Prompt（00:13）： ``` 即時模型有什麼好處？ ``` 原文：what's a realtime model good for Prompt（00:19）： ``` /語音 ``` 原文：/voice Prompt（00:21）： ``` 好的，展示給我看 ``` 原文：okay, show me Prompt（00:29）： ``` 像這樣嗎？ ``` 原文：like this? Prompt（00:39）： ``` 你能幫我找找這個月在舊金山新開的餐廳嗎？ ``` 原文：can you find new restaurants that opened in san francisco this month 操作步驟： 1. （00:09）於終端機輸入指令 `npm run chat` 2. （00:13）輸入問題「what's a realtime model good for?」 3. （00:19）輸入指令 `/voice` 切換至語音模式 4. （00:21）輸入「okay, show me」開始語音對話 5. （00:29）輸入「like this?」進行互動 6. （00:39）輸入「can you find new restaurants that opened in san francisco this month」請求搜尋 ## 標籤 SDK, 功能更新, 新產品, Vercel, OpenAI, xAI