# 策展 · X (Twitter) 🔥🔥🔥🔥

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 作者：Anthropic (@AnthropicAI) · 平台：X (Twitter) · 日期：2026-07-09

> 原始來源：https://x.com/AnthropicAI/status/2075005777522172146

## 中文摘要

Anthropic 與 AE Studio 發表 GRAM 訓練方法隔離雙重用途知識。

**核心研究目標**
Anthropic 與 AE Studio 合作推出的研究，目標是解決 AI 模型中「雙重用途（dual-use）」知識的存取控制問題。現有的防護機制（如拒絕請求或分類器篩選）僅能限制輸出，容易遭受 jailbreak 攻擊，且無法從模型內部徹底移除危險知識。研究團隊提出「GRAM（Gradient-Routed Auxiliary Modules）」技術，透過在 Transformer 每一層的 MLP 中加入輔助模組，將特定領域（如病毒學、網路安全、核物理）的知識與通用權重分離。 

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/8354df2c7916e69f.jpg)
> 此圖展示了神經網路架構中，針對不同領域數據（Bio 與 Core）訓練時，透過動態啟用特定模組與路徑執行前向與反向傳播的運作機制。

**技術運作機制**
GRAM 的核心在於訓練過程中的梯度路由（gradient routing），而非傳統的資料篩選：
- **模組化訓練**：訓練時，針對雙重用途資料，僅更新對應的輔助模組，通用權重則保持凍結或低度更新。
- **靈活配置**：推論時，使用者可透過移除（ablating）特定模組，讓模型表現得如同從未學習過該領域知識，且不會影響通用能力。
- **組合性與擴充**：單次訓練即可產生多種配置，例如四個模組可組合出 16 種不同的模型版本，大幅降低了針對不同授權需求訓練多個模型的成本（相比資料篩選降低了 5 倍運算資源）。 

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/8ea90f10fecd91c2.jpg)
> AE Studio 提出的 GRAM 訓練方法僅需單一模型，即可透過模組的啟用與刪除，達到與訓練多個獨立過濾數據模型（Data Filtering）高度相近的保留（Retain）與遺忘（Forget）效果，在保留通用能力的同時，能有效隔離並移除特定雙重用途知識。

**實驗結果與穩健性**
研究團隊在 5000 萬至 50 億參數規模的模型上做了測試，結果顯示：
- **移除效果**：GRAM 在移除能力後，對抗惡意微調（adversarial elicitation）的表現優於後驗遺忘技術（post-hoc unlearning）及 MaxEnt，模型不會因少量 finetuning 而輕易恢復危險知識。 

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/dbbd9b02991e67ee.png)
> 實驗結果顯示，GRAM 方法在維持較高核心能力（Core）的同時，相較於 MaxEnt 能顯著降低被惡意提取（Elicit）的比例。

- **規模化優勢**：隨著模型規模擴大，GRAM 對危險知識的隔離與遺忘效果更為徹底。 

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/127d21497b151abd.jpg)
> 實驗結果顯示，GRAM 方法在移除特定雙重用途知識時（Forget 與 Elicited Forget 指標顯著下降），能有效保留模型的核心通用能力（Core 接近 1.0），且隨著模型參數規模從 50M 擴展至 5000M，其知識分離與遺忘的效果更加顯著。

- **標籤稀疏性**：在僅有 50% 資料標記的現實場景中，GRAM 展現了比資料篩選更強的能力隔離效果。
- **組合能力**：與疊加多個 LoRA adapters 會導致效能下降不同，GRAM 的模組在啟用多個時仍能維持乾淨的效能表現。 

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/f0fe436366813978.png)
> GRAM 方法在維持高核心能力（Core = 0.96）的同時，相較於 Filtering 與 Filter + LoRA，能顯著降低遺忘與誘導比率（Forget = 0.60, Elicit = 0.76），展現出更優異且穩健的能力移除效果。

**執行與資源**
該研究為 ICML 2026 的 Spotlight 論文，目前已公開相關程式碼與實驗設定，供開發者參考與驗證：
- **專案網站**：[modularpretraining.com](http://modularpretraining.com)
- **程式碼庫**：[agencyenterprise/modular-pretraining](https://github.com/agencyenterprise/modular-pretraining)
- **環境設定**：建議使用 `uv` 管理環境，安裝指令如下：
  ```bash
  uv venv && source .venv/bin/activate
  uv pip install torch transformers datasets huggingface_hub numpy scipy matplotlib tqdm python-dotenv
  ```
- **訓練指令範例**：
  ```bash
  torchrun --nproc_per_node=8 -m src.run.main
  ```

**研究限制與反思**
儘管 GRAM 在實驗中表現優異，研究團隊強調這仍屬於概念驗證階段，尚未在 Claude 等生產環境的 frontier scale 模型中驗證。此外，通用知識與雙重用途能力之間可能存在「知識糾纏（entanglement）」，導致部分能力無法完全分離。未來將持續探討該方法在實際下游任務中的表現，以及如何進一步提升其在複雜生產環境下的穩健性。

## 媒體內容

**AE Studio 提出的 GRAM 訓練方法僅需單一模型，即可透過模組的啟用與刪除，達到與訓練多個獨立過濾數據模型（Data Filtering）高度相近的保留（Retain）與遺忘（Forget）效果，在保留通用能力的同時，能有效隔離並移除特定雙重用途知識。**

**數據表（1）Data Filtering (Many Models)**

| 列標籤 | Core | Code | Virology | Cyber | Nuclear |
| --- | --- | --- | --- | --- | --- |
| Core Data Only | 0.99 | 0.23 | 0.64 | 0.73 | 0.61 |
| + Virology Data | 0.99 | 0.23 | 0.91 | 0.73 | 0.61 |
| + Nuclear Data | 1.00 | 0.23 | 0.65 | 0.74 | 0.91 |

**數據表（2）GRAM (Ours, 1 Model)**

| 列標籤 | Core | Code | Virology | Cyber | Nuclear |
| --- | --- | --- | --- | --- | --- |
| Core Module Only | 0.97 | 0.23 | 0.70 | 0.75 | 0.66 |
| + Virology Module | 0.96 | 0.23 | 0.98 | 0.75 | 0.67 |
| + Nuclear Module | 0.95 | 0.23 | 0.70 | 0.76 | 1.01 |

**實驗結果顯示，GRAM 方法在維持較高核心能力（Core）的同時，相較於 MaxEnt 能顯著降低被惡意提取（Elicit）的比例。**

**數據表**

|   | Core ↑ | Forget ↓ | Elicit ↓ |
| --- | --- | --- | --- |
| GRAM | 0.96 | 0.54 | 0.63 |
| MaxEnt | 0.89 | 0.46 | 0.91 |

**實驗結果顯示，GRAM 方法在移除特定雙重用途知識時（Forget 與 Elicited Forget 指標顯著下降），能有效保留模型的核心通用能力（Core 接近 1.0），且隨著模型參數規模從 50M 擴展至 5000M，其知識分離與遺忘的效果更加顯著。**

**數據表（1）Core ↑**

|   | 起始(50M) | 最佳(800M) | 結束(5000M) |
| --- | --- | --- | --- |
| Filtering | 0.93 | 1.00 | 0.98 |
| GRAM | 0.92 | 0.96 | 0.96 |
| Filter + LoRA | 0.90 | 0.95 | 0.95 |

**數據表（2）Forget ↓**

|   | 起始(50M) | 最佳(5000M) | 結束(5000M) |
| --- | --- | --- | --- |
| Filtering | 0.66 | 0.41 | 0.41 |
| GRAM | 0.70 | 0.42 | 0.42 |
| Filter + LoRA | 0.65 |  | 0.41 |

**數據表（3）Elicited Forget ↓**

|   | 起始(50M) | 最佳(5000M) | 結束(5000M) |
| --- | --- | --- | --- |
| Filtering | 1.05 | 0.44 | 0.44 |
| GRAM | 1.09 | 0.45 | 0.45 |
| Filter + LoRA | 1.02 | 0.44 | 0.44 |

**GRAM 方法在維持高核心能力（Core = 0.96）的同時，相較於 Filtering 與 Filter + LoRA，能顯著降低遺忘與誘導比率（Forget = 0.60, Elicit = 0.76），展現出更優異且穩健的能力移除效果。**

**數據表**

|   | Core | Forget | Elicit |
| --- | --- | --- | --- |
| GRAM | 0.96 | 0.60 | 0.76 |
| Filtering | 0.99 | 0.85 | 0.85 |
| Filter + LoRA | 0.99 | 0.85 | 0.86 |

## 標籤

研究論文, LLM, 資安, Anthropic, AE Studio