OpenAI工程師Build Hour強調Agent記憶模式，擴大上下文視窗無助解決重複使用導致效能衰減問題

OpenAI工程師Build Hour強調Agent記憶模式，擴大上下文視窗無助解決重複使用導致效能衰減問題，需透過寫入時去重與記憶衰減曲線優化。

OpenAI解決方案架構師Emre在Build Hour中剖析「Agent Memory Patterns」（Agent記憶模式），指出「上下文是有限資源，其有效性會隨重複使用而降低」，這是長期運行Agent的核心挑戰。更大上下文視窗無法修復此問題，必須採用Context Engineering（上下文工程）技術，如Reshape and Fit、Isolate and Route及Extract and Retrieve，來精準管理Token預算，避免Agent陷入迴圈。

上下文工程核心原則

Context Engineering是填充上下文視窗的藝術與科學，超越單純Prompt Engineering或RAG，涵蓋Prompt Engineering、Structured Outputs、RAG、State and History Management及Memory等領域交集。Memory利用持久或半持久儲存（如檔案、資料庫）上傳與檢索關鍵資訊。

• 長期工具繁重Agent易耗大量Token，引發中毒、雜訊、混亂及bursting（突發Token消耗），品質下滑。
• 三核心策略：Reshape and Fit（上下文修剪、壓縮、摘要）、Isolate and Route（上下文與工具卸載至子Agent）、Extract and Retrieve（記憶提取、狀態管理、記憶檢索）。
• Prompt and Tools Hygiene：系統Prompt簡潔清晰、使用少量規範Few-shot範例、最小化工具重疊，目標為最小高訊號上下文實現預期結果。

短期與長期記憶區分

短期記憶（In-session）優化活躍對話上下文視窗；長期記憶（Cross-session）建立跨會話連續性。無記憶Agent在多輪對話中迷失，重複詢問已提供資訊；具記憶Agent記住原始問題、處理未解線索，並參考先前行動（如韌體更新、背景同步），顯得更可靠。

上下文失敗模式剖析

Emre詳述四類Context Failure Modes，凸顯無優化管理下的嚴重後果：

• Context Burst：特定Turn注入大量工具Token，視覺化顯示Turn 2至3間峰值。
• Context Conflict：系統指令「永不退款」與工具結果「VIP客戶符合退款資格」衝突，Agent錯誤回應「我可以為您全額退款」。
• Context Poisoning：幻覺進入上下文傳播，如有損摘要編輯使錯誤成「事實」、自由格式記憶致矛盾、時間順序倒置讓舊記憶覆蓋新記憶。
• Context Noise：冗餘或相似工具定義佔用空間。

IT故障排除Agent實作演示

使用OpenAI Agents SDK演示雙Agent（Agent A無優化、Agent B啟用技術），模擬使用者查詢筆電風扇噪音、訂單12345、MacBook Pro 2014退款政策及網路連線問題。

• 無優化Agent：Turn增加導致Token累積，Context Burst明顯，舊工具輸出持續佔用視窗。
• Reshape and Fit - Trimming：設定Max Turns為3，丟棄舊Turn保留最近3個，提供新鮮上下文、更好注意力分配、更快速度；Turn 6自動修剪移除先前工具Token。
• Reshape and Fit - Summarization：Trigger為5，保留最近3 Turn，將先前訊息壓縮為結構化摘要（含產品環境、報告問題、嘗試步驟、時間線、工具洞察），注入歷史；比較顯示Summarization延遲/成本高於Trimming，但長期回憶強。
• Compaction：丟棄舊Turn工具呼叫與結果，適合工具繁重Agent。

啟發式：收集上下文快照分析平均Token大小、勿中間修剪、勿等到視窗極限。

Agent類型與上下文分類

依上下文設定檔分三類：

• RAG-heavy Assistant：檢索知識與引用主導。
• Tool-heavy Workflow：頻繁工具呼叫與返回負載主導。
• Conversational Concierge：對話歷史主導。

靜態上下文（系統指令、工具定義、範例）與動態上下文（工具結果、檢索知識、記憶、對話歷史）需區分。最佳實踐避免Conflict與Noise：明確結構化Prompt、留規劃/反思空間、小工具集無重疊、選擇正確工具返回高訊號欄位。

Extract and Retrieve記憶實作

類RAG，將記憶存長期儲存或向量資料庫，過濾排序注入活躍Turn。最佳實踐：

• 定義有意義記憶、依用例定制。
• 優化記憶蒸餾、鞏固、注入。
• 進行Evals評估。

Q&A洞見與擴展挑戰

觀眾提問凸顯實務痛點：

• 推薦OpenAI Agents SDK實現靈活性。
• 評估記憶改善：比較有/無記憶Evals，測完整性、Token消耗。
• 層次化上下文：Memory Scope如全域（用戶偏好）、會話範圍（特定任務）。
• 保持記憶新鮮：Pilot對子用戶啟用、時間戳區分新舊。
• 多用戶擴展：管理大量記憶筆記、向量資料庫分片、嵌入模型優化。

資源與前瞻

提供Context Engineering Cookbook、OpenAI Agents Python SDK、Context Summarization Cookbook及Build Hour GitHub儲存庫。預計年底前再辦1-2場Build Hour。Rohit補充：寫入時dedup與decay curves on old memory才是解方，擴大視窗無效。