KAIST與紐約大學提出跨領域共享記憶機制，提升編碼Agent效能3.7%

KAIST與紐約大學提出跨領域共享記憶機制，提升編碼Agent效能3.7%。

KAIST與紐約大學團隊發表論文「Memory Transfer Learning: How Memories are Transferred Across Domains in Coding Agents」（arXiv:2604.14004），提出「Memory Transfer Learning (MTL)」概念，透過異質領域統一記憶池，讓編碼Agent重用跨領域經驗，平均提升Pass@3效能3.7%。此方法強調meta-knowledge轉移，如驗證程序與除錯結構，而非特定程式碼，程式碼開源於https://github.com/KangsanKim07/MemoryTransferLearning。

研究背景與動機

現有基於記憶的自進化編碼Agent僅限單一領域記憶使用，忽略真實世界編碼問題共享的基礎設施，如運行環境與程式語言。MTL解決此限制，建構異質領域統一記憶池，讓Agent跨領域重用記憶，避免單領域孤島。論文於2026年4月15日發表，作者包括Kangsan Kim、Minki Kang等，來自KAIST、紐約大學與DeepAuto.ai。

核心概念圖解

MTL分四階段演進：

• 無記憶Agent無法反思過去經驗。
• 自進化Agent僅限單一領域記憶。
• MTL整合異質編碼任務統一記憶池。
• 實驗顯示MTL（斜線柱狀）在四種記憶格式皆優於單領域自進化Agent。

記憶表示類型

團隊設計四種記憶表示，從具體低階追蹤到抽象高階洞見：

• Trajectory：串接所有Agent指令與執行結果，包含完整任務解決細節與失敗步驟。
• Workflow：提取可重用目標導向工作流程，包括目標陳述與有意義動作子集。
• Summary：提示LLM總結任務、環境、動作及成功/失敗分析。
• Insight：撰寫任務無關的通用原則，促進跨領域轉移。

記憶擷取與推論流程

記憶生成與檢索管線精準設計：

1. 在所有基準上運行Agent，使用LLM評審判斷成功/失敗，從軌跡生成四種記憶。
2. 建構記憶池：合併除目標基準外所有記憶，使用「text-embedding-3-small」索引加速擷取。
3. 檢索與推論：對每個查詢擷取前3最相似記憶，附加至編碼Agent系統提示前進行推論。

主要實驗結果

在6個編碼基準上評估Pass@3，使用GPT-5-mini基線，MTL平均提升3.7%，Insight類型最佳達0.560：

方法	LiveCodeBenchv6	Aider-Polyglot	SWEBench-Verified	TerminalBench2	ReplicationBench	MLGym-Bench	平均
Zero-Shot	0.910	0.470	0.730	0.315	0.111	0.667	0.523
MTL (T)	0.940	0.490	0.770	0.270	0.122	0.583	0.534
MTL (W)	0.920	0.470	0.770	0.348	0.111	0.583	0.538
MTL (S)	0.930	0.460	0.760	0.371	0.133	0.667	0.546
MTL (I)	0.930	0.470	0.770	0.360	0.189	0.750	0.560
Δ	+2.0%	0.0%	+4.0%	+4.5%	+7.8%	+8.3%	+3.7%

對比自進化基線

MTL僅用431個記憶，即優於ReasoningBank（+2.9%）與AgentKB（+1.7%），後者需5,899個記憶，展現高效性：

方法	記憶數	LiveCodeBenchv6	SWEBench-Verified	ReplicationBench	平均
Zero-Shot	—	0.910	0.730	0.111	0.584
ReasoningBank	97	0.920	0.750	0.133	0.601
AgentKB	5,899	0.920	0.720	0.200	0.613
MTL	431	0.930	0.770	0.189	0.630

關鍵發現一覽

論文歸納7項實證發現，強調抽象度與轉移效能的因果關係：

• MTL顯著提升編碼Agent效能，在效能與效率上優於自進化方法。
• 可轉移知識主要為meta-memory，編碼程序與行為指導，而非領域特定程式碼。
• 更抽象、一般化記憶表示帶來更高轉移效能，避免脆弱實作錨定。
• 負轉移源於領域不符誤導錨定、錯誤驗證訊號及誤用程序重複。
• MTL效能隨記憶池規模與來源領域數擴增而提升。
• 記憶可跨模型轉移，自生成記憶最佳，但跨模型轉移仍勝零樣本。
• 異質Agent環境下靜態檢索難以泛化，凸顯跨領域記憶擷取挑戰。

轉移知識本質

效能提升源自meta-knowledge，如驗證解決方案、結構化除錯、執行檢查及偵測失敗模式。過度特定記憶損害效能，故除錯記憶、程式碼生成記憶、測試記憶皆匯入同一池體。記憶池越大，轉移越佳，MTL讓編碼Agent重用通用推理與檢查，而非僅精確解決軌跡。

抽象度決定轉移性

高階洞見跨領域泛化佳，低階追蹤因過度具體常引負轉移。論文強調正確抽象層級至關重要，避免任務特定細節干擾。

擴展性與跨模型應用

轉移效能隨記憶池規模正比成長，多來源領域強化效果。即使不同模型間，MTL仍有效，自生成記憶最優，但外來記憶勝無記憶基線。

研究問題解答

• RQ1：異質領域記憶確實提升效能，平均+3.7%。
• RQ2：益處來自meta-knowledge轉移，如驗證常式。
• RQ3：抽象度、記憶池規模、來源多樣性最影響轉移。

技術依賴與未來展望

建基於「Harbor」harness與「Mini-SWE-Agent」，感謝開源貢獻。程式碼標記「Coming Soon」，專案頁面https://memorytransfer.github.io/。此工作為編碼Agent記憶設計奠定跨領域實證原則，預示共享經驗庫將成通用資源，支持多Agent與模型共用。