# Runway 發布 GWM Worlds 2 研究預覽：以文字與攝影機即時生成 720p 影片及 48 kHz 音訊

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 原作者：Runway (@runwayml) · 策展與摘要：EasyVibeCoding · 平台：X (Twitter) · 熱度：🔥🔥🔥🔥 · 日期：2026-09-04

> 原始來源：https://x.com/runwayml/status/2095540014645920040

## 證據與延伸閱讀

- [Runway 發布 GWM Worlds 2 研究預覽：以文字與攝影機即時生成 720p 影片及 48 kHz 音訊。](https://runway.com/research/introducing-gwm-worlds-2) — 官方文件 · 最後核對：2026-09-04 · 支持主張：The preview describes an autoregressive audio-video diffusion model with a WorldPrompt separating persistent genesis, subjects, laws, and first frame from a timestamped event stream, conditioning on a sliding cache of generated frames, and continuing without a fixed clip length; demonstrations include navigation, scene and subject actions, dialogue, video continuation, multiplayer roles, and goal-directed agents, with explicit fidelity, memory, reference, and harness limits.
- [Runway GWM Worlds 2 — @runwayml](https://x.com/runwayml/status/2095540016801857944) — 一手來源 · 最後核對：2026-09-04 · 支持主張：The linked research page specifies an autoregressive audio-video diffusion model, a WorldPrompt that separates persistent context from timestamped events, conditioning on a sliding cache of generated frames, continuation without a fixed clip length, and demonstrations spanning navigation, scene and subject actions, dialogue, video continuation, multiplayer roles, and agentic control. It also documents fidelity, camera-rotation, memory, reference, and state-tracking limits.
- [世界建立畫面與文字輸入框](https://d3phaj0sisr2ct.cloudfront.net/site/research/gwm-worlds-2/images/authoring-create-world.webp)

## 中文摘要

Runway 發布 GWM Worlds 2 研究預覽：以文字與攝影機即時生成 720p 影片及 48 kHz 音訊。

<video src="https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/1788510734375-vo8afsii.mp4" poster="https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/e3ecf655fc989cd7.jpg" controls playsinline preload="metadata" style="max-width:100%;height:auto;display:block;margin:1rem 0"></video>
> GWM Worlds 2 運作介面，展示結合 WorldPrompt、即時互動模擬與音訊生成的 world model 示範

它同時把生成環境作為 Agent 移動與目標導向行動的實驗場域，但目前仍不是一般可用的遊戲引擎或機器人模擬器。

**核心架構** Runway 在官方研究頁面〈[Introducing GWM Worlds 2](https://runway.com/research/introducing-gwm-worlds-2)〉將 GWM Worlds 2 描述為自回歸音訊-影片 diffusion model。其 WorldPrompt 把持續存在的世界脈絡與帶有時間戳的事件流分開管理：

- 持續脈絡包含 genesis 描述、subjects、laws 與 first frame。
- 事件流記錄動作、對話、聲音與攝影機移動。
- 模型每一步結合全域脈絡、目前輸入，以及已生成影格的 sliding cache，並可在沒有固定片段長度的情況下持續生成。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/43ef18f307ac068f.webp)
> 某個應用程式介面的世界建立畫面，頂部設有 Play、Presets、History 與 Debug 分頁，中央的文字輸入框內填有「third person, running along a beach」，下方選單標示 Gemini 3.1 Flash Image (fast)，並附帶「Add reference image」核取方塊與「Create world」按鈕，底部則說明由模型產生圖像後再填入 prompt、角色與動作。

**展示能力** 系統以 720p、每秒 24 frames，以及 48 kHz（48,000 Hz）音訊運作。Runway 展示第一人稱與第三人稱導航、主體和場景動作、生成對話、從預填影片延續內容、多人角色，以及由 Agent 控制的互動情境；其中目標導向 Agent 能在生成環境中選擇移動動作，可探索作為具身 Agent 的評估或訓練介面。預先編排的 actions 目前比現場以按鍵綁定的 demo 產生更好的品質。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/f6ae4bc1fba8701c.webp)
> 第一人稱視角沙漠荒野生存模擬畫面，左手持金屬隨身水瓶，右手持石矛，前方荒漠道路延伸至夕陽下的小營地與帳篷，左上角顯示生命值、體力、水分與飽食度計量條，右下角標示時間與日期。

**限制與評估** 即時速度與 fidelity 之間存在取捨；快速旋轉攝影機可能使幾何、材質與細節劣化，長期記憶也不完整。系統目前不支援 first frame 或預填影片以外的參照內容，最豐富的反應式體驗可能需要外部 state-tracking harness。實際測試應分開檢查即時速度、畫面 fidelity、攝影機旋轉瑕疵、長期記憶與參照限制；來源尚未說明硬體需求、API 存取方式或即時性主張的重現細節。

## 媒體內容

**GWM Worlds 2 運作介面，展示結合 WorldPrompt、即時互動模擬與音訊生成的 world model 示範**

**影片中的 Prompt 與操作**

Prompt（00:11）：

```
第一人稱沙漠求生遊戲，日落時分，一手拿著水壺，一手拿著長矛，前方有營火。
```

原文：First-person desert survival game at sunset, canteen in one hand, spear in the other, campfire ahead.

操作步驟：

1. （00:11）- 點擊 Create world 按鈕

**逐字稿**

- `00:00` 去年十二月，我們介紹了 GWM Worlds，（Last December, we introduced GWM Worlds,）
- `00:02` 這是一個用於即時環境模擬的世界模型。（a world model for real-time environment simulation.）
- `00:07` 它能在一長串的動作中維持同一個空間，（It held a space together across long sequences of movement,）
- `00:11` 這才是困難的部分。（which was the hard part.）
- `00:13` 今天，我們要展示 GWM Worlds 2，（Today, we're showing a look at GWM Worlds 2,）
- `00:17` 把影片與音訊生成轉化為能讓你即時遊玩的模擬。（video and audio generation turned into simulation that you play in real-time.）
- `00:23` 豐富的控制功能需要一種描述世界的方式，而我們從區分兩者開始。（Rich controls need a way to describe a world, and ours starts from a split.）
- `00:29` 哪些會持續存在，以及哪些會改變。（What persists, and what changes.）
- `00:32` 我們稱之為 World Prompt。（We call this World Prompt.）
- `00:34` 持續存在的部分是場景、能夠行動的主體，（The persistent half is the scene, the subjects that can act,）
- `00:38` 以及它們遵循的規則。（and the laws they follow.）
- `00:40` 第一幀畫面為它奠定基礎，從那一刻起，世界就已經開始運動。（The first frame grounds it, and from there, the world is already moving.）
- `00:44` 另一半則是事件串流，（The other half is an event stream,）
- `00:47` 以時間戳記標示、指定給主體或場景的文字動作，可以自由重疊。（timestamp text actions addressed to a subject or to the scene, free to overlap.）
- `00:52` 非常謝謝大家。祝你們今天愉快。（Thank you so much. Have a great day.）
- `00:53` 鏡頭運動則是獨立的輸入，逐幀提供且連續不斷。（Camera motion comes as its own input, per frame and continuous.）
- `00:58` 為了做到這一切，（To achieve all of this,）
- `01:00` 我們以基礎音訊影片模型為基礎，使用 World Prompt 格式對它進行微調，（we take our foundational audio-video model and fine-tune it on the World Prompt format,）
- `01:05` 而它會遵循這個結構。（and it follows the structure.）
- `01:07` 這個模型是雙向的，速度太慢，無法用來遊玩，（That model is bi-directional and too slow to play,）
- `01:10` 所以我們透過後訓練，把它轉成沒有固定時長的自回歸模型。（so we post-train it into an auto-regressive one with no fixed duration.）
- `01:15` GWM Worlds 2 會以每秒 24 幀生成 720p 影片，並以 48 kHz 生成音訊，（GWM Worlds 2 generates 720p video at 24 frames per second, and audio at 48 kHz,）
- `01:23` 一次完成一個步驟。（one step at a time.）
- `01:25` 從這裡開始的所有內容，都是在一次連續工作階段中即時操控的。（Everything from here was steered live in one continuous session.）
- `01:29` 你常用的動作可以綁定到按鍵上，讓遊玩保持快速。（Actions you use often bind to keys, so play stays fast.）
- `01:32` 動作不一定要瞄準角色。（An action doesn't have to be aimed at a character.）
- `01:36` 指定場景，房間就會被水淹沒，或是沙塵暴席捲而來。（Address the scene, and the room floods, or a dust storm rolls in.）
- `01:41` 這裡沒有任何一段是影片片段。（Nothing here is a clip.）
- `01:43` 只要你持續操作，世界就會從每次新的輸入繼續發展下去。（The world continues from each new input for as long as you keep going.）
- `01:47` 你也可以從影片而不是影像開始，（You can also start from video instead of an image,）
- `01:49` 而且環境與音訊都會延續下去。（and the environment and audio carries across.）
- `01:53` Agent 也能接手控制，給 Agent 一個目標，（Agents can take the controls too, give an agent an objective,）
- `01:56` 它就會朝著目標努力。（and it works towards it.）
- `01:59` 當它被要求先抵達紅旗，再抵達藍旗時，它第一次嘗試就完成了兩件事。（Told to reach the red flag and then the blue, it did both on the first try.）
- `02:03` 而在同一個工作階段中，兩個不同的人也可以擔任不同的角色。（And in the same session, two different people can hold different roles.）
- `02:07` 使用 GWM Worlds 2，你不必撰寫任何設定。（With GWM Worlds 2, you don't have to write any of the setup.）
- `02:10` 用一行文字描述世界，預設場景就會準備好，隨時可以遊玩。（Describe the world in a line, and the preset comes back ready to play.）
- `02:15` GWM Worlds 2。由你建造、由你遊玩的世界。（GWM Worlds 2. Worlds you build, as you play.）

## 標籤

新產品, 研究論文, GWM Worlds 2, Runway