SimpleStream 證明僅靠近期影格即可超越複雜的串流影片理解模型

SimpleStream 證明僅靠近期影格即可超越複雜的串流影片理解模型。

SimpleStream 研究指出，現有串流影片理解模型過度依賴複雜的記憶機制，透過僅輸入最近 N 個影格的簡單滑動視窗基準，即可達到甚至超越現有 SOTA 模型表現。此研究挑戰了「越複雜越好」的技術趨勢，並強調了感知與記憶之間的權衡。

核心發現與基準測試
SimpleStream 透過將最簡單的滑動視窗方法（僅輸入最近 4 個影格）應用於現成 VLM（如 Qwen2.5-VL、Qwen3-VL），在無需微調的情況下，於 OVO-Bench 達到 67.7% 的平均準確率，並在 StreamingBench 達到 80.59% 的準確率。此結果不僅超越了 13 種已發表的串流影片理解模型，更證明了在無需外部記憶庫、檢索或壓縮模組的情況下，簡單的基準方法即具備極強的競爭力。

感知與記憶的權衡
研究揭示了一個關鍵的「感知-記憶權衡」現象：雖然增加歷史上下文資訊有助於提升回憶能力，但往往會削弱系統對當前場景的即時感知能力。由於目前的基準測試過度權重於感知導向的任務，那些能保留清晰近期視覺證據的模型，反而能獲得更高的整體評分。這顯示了現有的複雜模組若無法在相同協議下顯著優於簡單的近期上下文基準，則不應被視為技術進步的證據。

對未來基準設計的建議
SimpleStream 的實驗數據顯示，準確率並非隨著上下文長度增加而線性成長，其準確率在 4 個影格時達到峰值，隨後趨於平緩甚至下降，這直接反駁了「更多影格等於更好」的假設。研究團隊因此主張，未來的串流影片基準測試應明確區分「近期場景感知」與「長期記憶」，以便更精確地評估複雜模組帶來的實際增益，而非僅僅是堆疊技術複雜度。

技術優勢與效率
SimpleStream 在效率上表現優異，其 4 影格配置在所有比較配置中達到了帕累托最優（Pareto-optimal），即在最低延遲下實現了最高準確率。此外，透過「感知保真度 (ΔP)」指標分析發現，所有已發表的串流模型在增加複雜度後，均出現了感知能力下降的負面影響，進一步證實了該研究對現有技術趨勢的批判觀點。