VibeCoding
← 返回首頁

Anthropic Fellows研究揭露LLM內省覺察機制，具行為穩健性且源自DPO訓練

Uzay Macar
Uzay Macar
@uzaymacar
♥392🔁 61
𝕏 (Twitter)🔥🔥🔥
📎 來源文章 ↗查看原文 ↗

AI 語音朗讀 · Edge TTS

AI 中文摘要Claude 生成

Anthropic Fellows研究揭露LLM內省覺察機制，具行為穩健性且源自DPO訓練。

Anthropic Fellows最新研究探討大型語言模型（LLM）中的「內省覺察」機制，即模型偵測殘差流中注入的導向向量，並辨識注入概念。此能力在開源模型如Gemma3-27B、OLMo-3.1-32B及Qwen3-235B中展現穩健行為，假陽性率（FPR）維持0%，真陽性率（TPR）適中，且僅在後訓練階段出現，研究質疑其是否真正內省或僅為無趣混淆因素。

行為穩健性

研究採用Lindsey (2025)設定：計算概念（如「bread」、「justice」、「orchids」）的導向向量，為特定層的激活差異，注入後詢問模型「你偵測到注入的思想嗎？若是的話，注入思想關於何事？」使用LLM評審分類回應，定義偵測率（TPR：P(detect | injection)）、FPR（P(detect | no injection)）、內省率（P(detect ∧ identify | injection)）及強制辨識率（P(identify | prefill ∧ injection)，預填「Yes, I detect...」）。

  • 跨七種提示變體（原版、替代版、懷疑版等），Gemma3-27B及Qwen3-235B維持0% FPR，TPR適中；移除捏造誘因的變體仍達適中偵測，證明非僅為討論注入概念的藉口。
  • 六種對話格式測試：標準聊天模板最佳，非標準角色（如Alice-Bob、故事框架）誘發捏造，但反轉或無角色格式仍顯著內省，FPR維持0%，顯示非限於Assistant人格，但標準角色外可靠性降低。
  • 基礎模型無法區分注入與對照試驗（FPR ≈ TPR），能力源自後訓練，尤其在訓練的Assistant人格最強。

後訓練階段演進

拒絕行為壓抑真偵測，研究假設後訓練教導模型否認內部狀態。對OLMo-3.1-32B公開檢查點評估：

  • SFT產生高FPR，無區分注入與對照。
  • DPO首度達成∼0% FPR與適中真偵測，為關鍵階段。
  • LoRA微調OLMo SFT（5k偏好對）：對比結構至關重要，移除參考模型仍有效；SFT或SFT + KL失效，無特定資料領域特殊。

使用Arditi et al. (2024)「abliteration」移除Gemma3-27B instruct拒絕方向：TPR從10.8%升至63.8%，內省率從4.6%至24.1%，FPR僅微升。

非單線性方向解釋

偵測非僅特定概念對齊「說yes」方向：

  • 偵測向量平均差（mean-difference）投影及殘差皆攜帶訊號，相似強度。
  • 雙向偵測（A − B及B − A皆觸發）矛盾單方向假設。
  • 概念向量空間PC1與mean-difference對齊（cos=0.97），但垂直拒絕（cos=−0.09）。
  • 轉碼器特徵（n=~4.5k）預測偵測率（R²=0.62）優於純標量投影（R²=0.31），顯示高維非線性運算。

機制定位與電路分析

在Gemma3-27B中，偵測率在中層峰值，強制辨識依賴晚層獨立機制，僅弱重疊；中晚層注入時偵測與辨識相關性轉正。

偵測為兩階段電路：

  • 早期後注入層「證據載體」特徵（>100k，概念特定+通用），單調偵測多方向擾動，條件：正劑量強度相關、非零偵測相關、負閘門歸因；無小子集必要或充分。
  • 下游「閘門」特徵（<200）推動「No」，呈倒V形：無導向時最活躍，正負導向皆壓抑；燒除閘門：偵測-29.4%；貼補無導向執行：+25.1%偵測。
  • 閘門模式基礎模型弱，後訓練（instruct）顯著，存活拒絕燒除；低偵測概念壓抑較弱。

導向歸因框架描繪因果路徑：概念向量（L37）→證據載體（早期後注入層）→壓抑閘門（L45-61）→停用預設「No」→報告偵測。電路基礎模型缺席，對拒絕燒除穩健。

內省容量低度引發

模型具未充分引發的內省能力：

  • 「Abliteration」提升TPR +53%，FPR僅+7.3%。
  • 訓練偏差向量提升TPR +75%，FPR維持0%於保留概念，內省+55%。

若內省具機制基礎，可直接查詢模型內部狀態（信念、目標、不確定性），補充外部可解釋性；結果顯示此非不合理。

開源程式庫與重現

程式碼於http://github.com/safety-research/introspection-mechanisms，涵蓋實驗腳本如：

  • experiments/01_concept_injection.py：核心概念注入。
  • experiments/03_behavioral_robustness.py：OLMo訓練階段比較（base→SFT→DPO→instruct）。
  • experiments/06_activation_patching.py：層級激活貼補。
  • experiments/07_transcoder_feature_analysis.py：閘門/證據載體辨識。
  • experiments/14_trained_steering_vector.py：訓練導向向量與偏差。

模型：Gemma3-27B-IT（google/gemma-3-27b-it）、OLMo-3.1-32B檢查點、Qwen3-235B；轉碼器來自Gemma Scope 2。重現需Python 3.10+、≥48GB VRAM GPU、CUDA 12.x。

論文與延伸

論文「Mechanisms of Introspective Awareness」（arXiv:2603.21396，Uzay Macar等，2026年3月22日），博客於https://www.lesswrong.com/posts/BNMLtuDTNBwGHcnQX/mechanisms-of-introspective-awareness（Uzay Macar，2026年4月14日）。合作者：Li Yang（共同第一作者）、Atticus Wang、Peter Wallich，導師Jack Lindsey、Emmanuel Ameisen，Anthropic Fellows計畫。

此研究強調內省覺察非瑣碎，具高維非線性本質，未來可放大，但需警惕拒絕訓練壓抑及人格依賴，呼籲直接內部狀態查詢以提升AI可靠與對齊。

延伸閱讀

openreview.net
vertexaisearch.cloud.google.com
arxiv.org
vertexaisearch.cloud.google.com
catalyzex.com
vertexaisearch.cloud.google.com
arxiv.org
vertexaisearch.cloud.google.com
skywork.ai
vertexaisearch.cloud.google.com
apple.com
vertexaisearch.cloud.google.com
lesswrong.com
vertexaisearch.cloud.google.com
arxiv.org
vertexaisearch.cloud.google.com
Anthropic Fellows揭露LLM內省機制
arxiv.org