# 策展 · X (Twitter) 🔥🔥

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 作者：Atai Barkai (@ataiiam) · 平台：X (Twitter) · 日期：2026-07-08

> 原始來源：https://x.com/ataiiam/status/2074501252268937703

## 中文摘要

# 建立護城河：自我學習的 Agent

自我提升是新的護城河，讓產品公司能超越單純封裝 LLM API 的層次。

獲取這些學習成果有兩個來源：瀏覽器活動（使用者在應用程式中的實際操作）以及 Agent 的執行軌跡（Agent 的實際作為）。

如果執行得當，你的產品只需透過被使用，就能不斷進化。

你的產品每天可能會有成百上千，甚至數百萬次的 Agent 與使用者互動。這是一座資料金礦。

然而，現今大多數的價值都未被捕捉。

你的使用者在「教導」Agent，而那些「課程」卻隨之消失了。

捕捉資料訊號是一種複利資產。

但光是捕捉還不夠——Agent 還必須在不被過多 context 淹沒的情況下運用這些資訊。模型有有限的注意力預算，把所有東西都塞進 context 並不是解決方案……

![這張資訊圖表展示了 CopilotKit 如何透過捕捉使用者互動來實現 AI 代理的持續學習與自我優化。](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/d34bf9c141c99a6e.jpg)

<details class="chart-data"><summary>展開畫面重點</summary><div class="me-note">圖表標題為「Every interaction teaches. Don't let the lesson disappear.」（每一次互動都是教學，別讓這些經驗流失）。右上角標示為「CopilotKit INTELLIGENCE」。

圖表流程分為上方的「學習循環」與下方的「價值產出」：
1. 上方流程：
   - Users（使用者）與 Interaction Surface（互動介面）進行互動。
   - 系統捕捉 The Signal（訊號），包含 Agent Traces（代理軌跡：Questions 問題、Tools 工具、Results 結果、Failures 失敗）與 User Activity（使用者活動：Clicks 點擊、Edits 編輯、Approvals 核准、Corrections 修正）。
   - 訊號傳遞至 Learning Engine（學習引擎）。
   - 最終產出 Self-Improving Agents（自我優化代理）。

2. 下方價值與風險：
   - Captured Value（已捕捉的價值）：包含「Fewer repeat mistakes」（減少重複錯誤）、「Learns your edge cases」（學習邊緣案例）、「Fewer human handoffs」（減少人工介入）。
   - Compounding Asset（複利資產）：象徵累積的學習成果。
   - Missed Every Day（每日流失）：若未捕捉這些互動，系統會顯示「If you don't capture it, the lesson just disappears.」（若不捕捉，經驗就會消失）。</div></details>

## 文章概覽

我們將探討你可以圍繞其建立商業護城河的自我提升 Agent，內容包括：

- 從 Agent 執行軌跡與瀏覽器內活動中學習

- 學習成果的應用位置：模型權重、harness 與 context

- 不同類型的學習：程序性、語意性、情節性

- 資料隱私：確保使用者的資料安全

- 資料所有權：建立商業護城河

- 使用 AG-UI 為任何 Agent 輕鬆實作自我學習的實用技巧

---

# 你的 Agent 應該從兩個地方學習

Agent 應該從 Agent 執行軌跡以及環境中的瀏覽器內活動進行學習。

大多數的學習方法只使用其中一種，但同時利用這兩者的產品，表現將遠勝於那些只使用單一來源的產品。

## 1. Agent 執行軌跡 (Agent Traces)

當 Agent 執行時，每一個步驟都會被記錄為軌跡。包括它被要求做什麼、呼叫了哪些工具、回傳了什麼結果，以及在哪裡失敗。

將另一個 Agent 指向這些軌跡，它就能找出失敗模式並重寫 Prompt、工具與指令。

缺失的一半：Agent 互動之外的任何行為，而那裡正是大多數活動發生的所在。

## 2. 瀏覽器內的環境使用者活動

也就是說，觀察使用者。

包括他們的點擊、編輯、回應與工作流程。

Brex 就是以這種方式建立他們的入職流程。他們觀察分析師的工作，並將每一次的人工修正回饋為訓練訊號。

每一次的人工修正都會創造一個標記過的資料點，進而優化下一次的執行。

缺失的一半：這種方法能完美地觀察人類，但對於 Agent 嘗試了什麼或為何失敗卻一無所知。

![此圖表解釋了不同工具在監控人機協作過程中的視角差異，並強調了 AG-UI 介面能同時捕捉雙方操作的優勢。](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/bdfbbaaa0290019b.jpg)

<details class="chart-data"><summary>展開畫面重點</summary><div class="me-note">圖片標題為「Each tool sees half. The miss and the fix meet in only one place.」。
上方區塊「A LIVE SESSION」展示了「The person」與「The agent」在同一時刻的操作差異：
- The person：clicks、edits、approves the refund（綠色標記為 the fix）。
- The agent：tool_call、tool_result、blocks the refund（紅色標記為 the miss）。

下方三個區塊比較了不同工具的監控能力：
1. A trace tool：reads the run log。標示為「× Blind to what the person did」。
2. An ambient tool：watches the screen。標示為「× Blind to what the agent did」。
3. The AG-UI interface：the surface both act on。標示為「✓ Sees both. Captured for free.」。</div></details>

---

# 你應該捕捉這兩種訊號

如何捕捉？或者更好的是，在哪裡捕捉？

在當今幾乎每個產品中，都有一個地方能同時看到這兩者：人類與 Agent 並肩工作的介面。

也就是說，使用者介面。

捕捉的方法是透過 Agent-User Interaction Protocol (AG-UI)：這是一個開放標準，能串流傳輸你的應用程式、使用者與 Agent 之間的所有事件。關於為什麼這很重要，詳見下文。

![此圖表說明了 AI 代理（Agent）學習的兩種來源：Agent Traces 與 Ambient User Activity，並強調透過介面整合兩者能產生更強大的代理。](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/546ec929dbcb9178.jpg)

<details class="chart-data"><summary>展開畫面重點</summary><div class="me-note">這張圖表標題為「Where an agent can learn from」，副標題為「Two sources of signal. Most teams capture only one.」。

圖表分為三個主要區塊：

1. 左側區塊「1. Agent Traces」（代理軌跡）：
   - 描述：The agent's side. Every run, logged step by step.
   - 流程圖示：What it was asked (圖示：對話框) -&gt; Tools it called (圖示：扳手) -&gt; What came back (圖示：資料庫) -&gt; Where it failed (圖示：警告三角形)。
   - 說明文字：Point another agent at those traces. It finds the failure patterns and rewrites the prompts, tools, and instructions.
   - 標籤：Patterns, Prompt fixes, Tool rewrites。
   - 底部註記：Doesn't see the human, or what the person did.

2. 中間區塊「The Interface」（介面）：
   - 描述：The one place that sees both, at the same time.
   - 標籤：Captured via AG-UI。
   - 底部按鈕：Both signals. Stronger agents.

3. 右側區塊「2. Ambient User Activity」（環境使用者活動）：
   - 描述：The human's side. Watching the person work.
   - 流程圖示：Clicks (圖示：游標) -&gt; Edits (圖示：鉛筆) -&gt; Workflows (圖示：清單) -&gt; Corrections (圖示：重試箭頭)。
   - 說明文字：Each human fix is a labeled data point. That feedback becomes the training signal that sharpens the next run.
   - 標籤：Labeled data, Human feedback。
   - 底部註記：Doesn't see the agent, or why it failed.</div></details>

---

# 學習成果的應用位置

有三個位置，每個位置都有各自的權衡。

→ 模型權重：將學習成果微調進模型本身。

→ Harness：模型周圍的一切。它遵循的循環、允許呼叫的工具，以及在執行前進行檢查的機制。

→ In-context：將新資訊直接加入 Prompt。Agent 在每次呼叫時都會讀取它。

我在第一篇文章中涵蓋了這三個層次中的所有 10 種方法 ↓

---

# 不同類型的學習

主要有三種類型。
只有其中兩種能幫助你的 Agent 隨時間推移而進步。

![此圖表展示了 AI 代理記憶系統的三種分類（語義、情節、程序）及其運作的應用範圍。](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/7ae7e377f9f929e5.jpg)

<details class="chart-data"><summary>展開畫面重點</summary><div class="me-note">圖表將記憶分為三種類型：
1. Semantic（語義）：facts（事實），範例為「This customer's refund limit is $2,000.」，標註「MOST SETUPS STOP HERE」。
2. Episodic（情節）：past experience（過往經驗），範例為「Last week, this customer's refund bounced.」，標註「MAKES IT SELF-IMPROVING」。
3. Procedural（程序）：how to handle a case（如何處理案例），範例為「Loyal customer, over the limit, repeat failures → approve it.」，標註「MAKES IT SELF-IMPROVING」。

下方文字說明：「Most setups only store facts. The last two are how it learns.」（大多數設定僅儲存事實。後兩者才是它學習的方式。）

底部說明記憶服務的三種範疇（three scopes）：
- the agent's own memory（代理自身的記憶）
- one user's preferences（單一使用者的偏好）
- the whole team（整個團隊）</div></details>

## 1. 程序性 (Procedural)（工作流程／如何做事）

程序性記憶是我們許多人包含在 skill 或 agents.md 檔案中的內容：

完成任務所學到的工作流程與規則。

> 例如：經理批准忠實客戶的超額退款。Agent 學會了這一點，下次就會採取同樣的做法。

優點：Agent 每次處理相同案例的方式都一致。具備獨立性與一致性。
缺點：如果它學到了錯誤的工作流程，它每次都會自信地執行錯誤的操作。

## 2. 情節性 (Episodic)（發生的事情）

特定過去事件與互動的記錄。

> 例如：「1 月 5 日，Joe Jonas 的退款失敗，因為他的卡片已過期。」

優點：真實的過往案例勝過抽象規則。Agent 可以觀察事情是如何發展的，並複製有效的方法。
缺點：大多數過往案例都是無用的雜訊。必須有人進行篩選，只保留值得記憶的案例，否則有用的資訊會被淹沒。

## 3. 語意性 (Semantic)（事實）

Agent 應該知道的穩定事實。

> 例如：「所有信用卡方案都有額度限制，但限制因方案而異。」

優點：隨處可重複使用。事實就是事實。
缺點：沒有預警就會過期。當限制變更的那一天，Agent 會自信地錯誤行事，並依據過時資訊採取行動。

語意性只儲存真實的內容。

情節性與程序性是唯二會產生複利效應的類型——一個保留了發生的案例，另一個保留了處理該案例的規則。

![這是一張展示人工智慧代理系統記憶架構的流程圖，說明從真實世界互動到記憶提取與應用的循環過程。](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/04335352fb4ec0b7.jpg)

<details class="chart-data"><summary>展開畫面重點</summary><div class="me-note">該圖表標題為「The memory system」，詳細描述了 AI 代理的記憶運作流程：
1. **Real world**：包含人類與代理（agents）的協作。
2. **Event stream**（標註為 AG-UI）：記錄所有動作與結果，包含 click、tool_call、edit、approval 等事件。
3. **Signal extractor**：負責篩選重要資訊並過濾雜訊（NO CONTEXT ROT）。
4. **Memory**：將資訊分類儲存，包含 Semantic（facts）、Episodic（cases）、Procedural（rules）。
5. **Agent in action**：代理根據已有的經驗進行回應，並透過「Right memory. Right time.」機制從記憶庫提取資訊。
圖表下方標註「The more it's used, the better it gets」，強調系統具備隨使用頻率優化的特性。</div></details>

---

# 親自掌握循環並建立護城河

學習資料是你產品中最重要的部分，隨著從零開始開發軟體的成本降低，這些資料的價值將會日益增加。

擁有學習資料能讓你不再只是 LLM API 的封裝者。

Agent 的失誤與人類的修正通常發生在兩個不同的地方。
而且沒有人將它們連結起來。

實現這一點的介面已經存在於你的產品中：使用者介面。

軌跡工具只能看到 Agent。

環境工具（即觀察瀏覽器的那種）只能看到人類，且為了獲取資料而侵犯隱私。

但 CopilotKit 能同時看到這兩種訊號。

CopilotKit 讀取流經你應用程式的事件：包括 Agent 與使用者雙方的每一次工具呼叫、狀態變更、批准與編輯。

它是透過 AG-UI (Agent-User Interaction Protocol) 來做到這一點的，該協定能即時傳輸你的應用程式、使用者與 Agent 之間的所有事件。

現在，Agent 的嘗試與人類的修正會抵達同一個串流中。

![這張圖表展示了「AG-UI」系統如何透過人類與 AI 代理之間的互動，建立學習迴圈以優化代理效能。](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/8ac940df729809ab.jpg)

<details class="chart-data"><summary>展開畫面重點</summary><div class="me-note">圖表標題為「Own the loop. Own the learning.」，副標題為「It sees both sides, turns every interaction into learning, and builds better agents over time.」。

圖表核心為「AG-UI」，左側代表「The Human」，右側代表「The Agent」。

左側「The Human」包含以下互動項目：
- Clicks
- Edits
- Approvals
- Corrections
- Approved (狀態標籤)

右側「The Agent」包含以下互動項目：
- Tool calls
- Tool results
- State changes
- Messages
- Learning... (狀態標籤)

底部為「Learning Engine」，透過兩條路徑運作：
1. 「Human fix becomes signal」：將人類的修正轉化為訊號。
2. 「Agent attempt becomes context」：將代理的嘗試轉化為背景資訊。

畫面重點在於說明「AG-UI」如何作為中介，將人類的操作（點擊、編輯、核准、修正）與代理的執行結果（工具呼叫、狀態變更、訊息）進行整合，並將這些互動數據輸入至學習引擎中，藉此持續優化代理的表現。</div></details>

## AG-UI 適用於任何 Agent 與任何 harness

AG-UI 是一個與框架無關的開放標準。

它已被 AWS、Google、Microsoft、Oracle、LangChain、Mastra、Pydantic AI、CrewAI、LlamaIndex 等採用。

AG-UI 會觀察事件，並將學到的 context 直接注入 Agent，無論該 Agent 底層的 harness 是什麼樣子。

這意味著相同的學習成果會自動應用於你引入的任何 Agent，無論是今天還是明年，且無需為每個新 Agent 進行自訂整合工作。

我們的一位客戶營運著一個介面，同時與 CopilotKit 的 Agent、Google ADK 以及 Microsoft Agent Framework 對話，所有的記憶都在這三者之間共享。

> 與框架選擇脫鉤的記憶 = 可攜性

![AG-UI 是一個以「零客製化整合」為目標的代理使用者互動協定，能將學習情境注入至各種代理框架中。](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/642d6c27709ae3c0.jpg)

<details class="chart-data"><summary>展開畫面重點</summary><div class="me-note">該圖表展示了 AG-UI（Agent-User Interaction Protocol）的架構與運作邏輯，強調其能與多種代理（Agent）及框架（Harness）協作。

畫面文字轉錄：
- 標題：Works with any agent, any harness.
- 副標：Zero custom integration.
- 頂部整合項目：LangGraph, LlamaIndex, Mastra, Google ADK, Pydantic AI, any agent。
- 中央核心：AG-UI (Agent-User Interaction Protocol)。
- 兩側連結：左側為「Your App」，右側為「Your Users」。
- 下方說明：Learning Context Injected Into Any Agent (Whatever the harness looks like underneath.)。
- 底部標籤：Same learning. Applied everywhere.
- 底部圖示：包含終端機符號、對話框、括號、晶片、連結符號及星號等六個圖示。

畫面重點：此圖展示了 AG-UI 作為中間層，連接應用程式與使用者，並透過將學習情境注入至各類代理框架（如 LangGraph、LlamaIndex 等），實現跨平台的統一學習與應用。</div></details>

## 一切都在你的基礎架構上執行，因此你擁有學習成果

CopilotKit Intelligence 自託管於你自己的 Kubernetes 叢集上。具備完整的資料主權、SOC 2 Type II 合規性，若有需要，還可進行離線（air-gapped）部署。

資料留在你那裡。Agent 從中學到的一切也是。

其他人的方法要麼將你的學習成果保留在他們的雲端中，要麼像 Meta 那樣，透過監控來獲取資料。

![此圖表對比了 CopilotKit Intelligence 的自託管基礎架構與一般雲端服務在數據隱私與控制權上的差異。](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/7198098010174872.jpg)

<details class="chart-data"><summary>展開畫面重點</summary><div class="me-note">圖表標題：Runs on your infrastructure, you own the learning. (Your data stays with you. So does every lesson.)

左側區塊（標題：YOUR INFRASTRUCTURE）：
- CopilotKit Intelligence (Self-hosted on your Kubernetes)
- Your Data. Your Learning. (包含四個圖示：Traces, Interactions, Corrections, Feedback)
- Encrypted. Private. Yours. (SOC 2 Type II · Air-gapped ready)

右側區塊（標題：EVERYONE ELSE）：
- 圖示：雲朵 (Their Cloud - Your data lives here.)
- 文字：- or -
- 圖示：監視器 (Surveillance - They watch everything.)

畫面重點：此圖透過對比方式，強調 CopilotKit Intelligence 允許使用者在自己的 Kubernetes 環境中部署，確保數據隱私、安全性（SOC 2 Type II）以及對學習數據的完全掌控，並以此對比一般雲端服務可能存在的數據監控風險。</div></details>

@CopilotKit Intelligence 目前已在財星 500 大企業的生產環境中執行，並開放早期存取。如果你希望你的 Agent 隨著使用人數增加而變得更聰明，請與我們聯繫。

---

# 學習容器：決定「誰」能獲得新的學習成果

一旦你在產品中啟用學習功能，問題隨之而來：學習的範圍有多廣？來自一位使用者的敏感事實不應洩漏到另一位使用者的 Agent context 中。

CopilotKit 的解決方案是「學習容器」(Learning Containers)：這是一種開發者友善的範圍控制機制，讓你決定每個課程「擴散」到什麼程度。

CopilotKit 讓你輕鬆為不同的使用者群組定義學習容器：

- 針對使用者：例如特定的偏好設定。

- 針對團隊：例如批准程序。

- 針對應用程式：例如全公司的規則。

學習容器是完全可審計的。你可以精確查看學到了什麼，以及它落入哪個容器中。

![這張圖表展示了「Router agent」如何根據不同的範圍（Per-user、Per-team、Per-app）來處理與學習審核程序的邏輯。](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/193c40106cdd416b.jpg)

<details class="chart-data"><summary>展開畫面重點</summary><div class="me-note">圖表標題：A NEW LESSON
流程說明：
1. 起始節點：「Manager approved an over-limit refund」（經理核准了一筆超額退款）。
2. 處理節點：「Router agent」（路由代理），其功能為「picks the scope」（選擇範圍）。
3. 分支選項：
   - 「Per-user」：對應「Personal preferences.」，標記為「1 person」。
   - 「Per-team」：對應「Approval procedures.」，標記為「the team」。此項目目前被選中（高亮顯示）。
   - 「Per-app」：對應「Company-wide rules.」，標記為「everyone」。
4. 補充說明：下方文字說明「Per-team. An approval procedure. Every agent on the team now handles over-limit cases the same way.」（Per-team：一種審核程序。團隊中的每個代理現在都以相同方式處理超額案例。）
5. 狀態標籤：「✓ Auditable. See what was learned, and where it landed.」（可審計。查看學習內容及其應用位置。）
6. 下方按鈕選項：Per-user、Per-team、Per-app。

畫面重點：此圖演示了 AI 代理系統中的路由邏輯，說明當一個決策（如經理核准退款）發生時，系統如何透過 Router agent 將該經驗歸類到個人、團隊或全公司層級的規則中，以實現自動化學習與一致性處理。</div></details>

這背後還有很多學問。

最近，我們舉辦了一場深入的直播，詳細介紹了我剛才提到的所有內容。

點擊此處觀看完整錄影。

---

# 總結

![這張圖表說明了 AI 代理（Agent）如何透過「自我學習循環」（Self-Learning Loop）機制，從使用者互動與修正中持續優化效能。](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/e4683b3230affdfa.jpg)

<details class="chart-data"><summary>展開畫面重點</summary><div class="me-note">這張圖表詳細介紹了「自我學習循環」的四個階段：
1. Two signals（兩個訊號）：說明代理從自身軌跡（traces）與使用者行為中學習。圖示顯示「person」產生 clicks 與 fixes，「agent」產生 tool_call 與 fails。
2. Where it lives（儲存位置）：描述模型的三層結構，包含 harness、in-context 與 weights，強調 harness 是使用者實際擁有的部分。
3. Three memories（三種記憶）：以「refund」（退款）為例，說明一個事件可轉化為三種記憶：fact（事實，如 $2,000 limit）、case（案例，如 it bounced）、rule（規則，如 approve, flag）。
4. Own the loop（掌握循環）：說明 CopilotKit 如何從不同工具讀取 miss 與 fix 訊號，並將學習後的內容回饋給代理。圖示顯示「the agent」與「AG-UI」之間的互動循環。
底部標註了 CopilotKit 與 AG-UI。</div></details>

@CopilotKit Intelligence 已經在大型企業的生產環境中執行此功能，並開放早期存取。

如果你想要一個隨著使用者使用次數增加而變得更好的 Agent，請與我們聯繫，我們會協助你加入。

追蹤 @ataiiam 以獲取更多資訊。

## 標籤

Agent, 產業趨勢, 自動化, CopilotKit
