# 策展 · X (Twitter) 🔥🔥🔥🔥🔥

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 作者：alphaXiv (@askalphaxiv) · 平台：X (Twitter) · 日期：2026-07-14

> 原始來源：https://x.com/askalphaxiv/status/2076826479082536996

## 中文摘要

Google 提出 Sleep 範式讓大型語言模型持續學習。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/96b6ccf8e60d0140.jpg)
> 這是一篇探討大型語言模型如何透過「睡眠」機制進行自我修正與記憶鞏固，以實現持續學習的研究論文首頁。

**核心概念與動機**
現有大型語言模型（LLM）在預訓練結束後即處於凍結狀態，若要更新知識，通常面臨計算成本高昂或發生「災難性遺忘」（Catastrophic Forgetting, CF）的問題。研究人員指出，現有模型處理記憶的方式類似人類的「順向失憶症」，僅能依賴上下文窗口（In-Context Learning, ICL）進行短期記憶，缺乏將資訊轉化為長期參數知識的機制。為此，本研究參考人類大腦的睡眠機制，提出「Sleep」範式，讓模型在「清醒」（Active）與「睡眠」（Sleep）狀態間循環，實現終身適應。

**Sleep 範式的運作機制**
該範式包含兩個關鍵階段，旨在將短期、脆弱的記憶轉移至穩定、低頻率的參數中：
- **記憶鞏固（Memory Consolidation）**：透過「知識種子」（Knowledge Seeding, KS）進行向上蒸餾，將小型高頻記憶模組中的知識，轉移至擴展後的低秩專家（low-rank experts）模組。此過程結合了「策略內蒸餾」（on-policy distillation）與基於強化學習（RL）的模仿學習，確保模型能將新資訊內化為長期權重。
- **夢境生成（Dreaming）**：模型模擬 REM 睡眠，利用強化學習生成合成數據課程（curriculum of synthetic data），在無人類監督下進行自我改進與知識重演。此階段透過 MoE 架構中的路由器隨機選擇專家，引入無關知識以理解不同領域間的關聯，並透過梯度篩選機制維持數據多樣性。

**技術架構與優勢**
- **多頻率記憶層級**：模型被視為不同更新頻率的 MLP 區塊鏈，透過參數擴展策略，將知識從高頻（更新快）層級逐步整合至低頻（穩定）層級，有效減輕災難性遺忘。
- **抗遺忘能力**：在持續學習任務（如 MTOB、Manchu 資料集）中，採用 Sleep 機制的模型展現出顯著的抗遺忘能力，優於傳統的微調（SFT）或僅依賴 ICL 的方法。
- **長文本與推理表現**：在 BABILong 基準測試中，模型在擴展至 10M tokens 時表現穩定，優於 GPT-4 與 GPT-4o-mini；在數學推理任務（如 AIME-24、AIME-25）中，Sleep 演算法在達到相同目標效能時，比 SFT 更具時間效率。

**與現有方法的差異**
作者強調，Sleep 機制與近期研究（如 Lin et al. 2025）不同，後者多旨在節省上下文計算資源，而 Sleep 專注於將文本數據知識轉化為參數權重更新。此外，相較於現有的線上策略自蒸餾（OPSD）方法，Sleep 透過「向上蒸餾」解鎖參數，並結合 RL 獎勵機制，能有效解決模型容量不足與資訊洩漏的問題。

**OPSD 的侷限與 Sleep 的設計動機**
論文指出，現有 OPSD 與單純自蒸餾方法存在以下失敗模式，而這正是 Sleep 兩階段設計欲解決的問題：
- 若過度依賴豐富的特權資訊（privileged information），可能抑制模型的認知口語化能力，導致在特定模型（如 Qwen3-8B）上出現分佈外效能衰退。
- 長期迭代的自蒸餾可能導致資訊洩漏與訓練崩潰，侵蝕模型原有的推理穩定性。

詳細研究內容與參考文獻請參閱：[https://alphaxiv.org/abs/2606.03979](https://alphaxiv.org/abs/2606.03979)

## 標籤

LLM, 研究論文, Google