# 策展 · X (Twitter) 🔥🔥🔥🔥

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 作者：Aravind Srinivas (@AravSrinivas) · 平台：X (Twitter) · 日期：2026-07-15

> 原始來源：https://x.com/AravSrinivas/status/2077105849638728118

## 中文摘要

Perplexity 發布 WANDR 評估 Agent 研究能力。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/e87fb3af0c0f7fc1.jpg)
> Perplexity 開源其內部基準測試 WANDR，該基準由 500 個研究任務組成，圖表展示了其在任務成員數、每成員記錄數、每任務記錄數及層級深度上的多樣化分佈，用以評估 AI 代理的廣度與深度研究能力。

Perplexity 執行長 Aravind Srinivas 指出，Perplexity 內部高度依賴嚴謹的評估指標與基準測試；他也表示 Perplexity 在成本與效能的權衡上表現最佳。此次開源的「WANDR」（Wide ANd Deep Research）基準測試，正是該公司用來衡量 Agent 在處理複雜研究任務時，能否同時兼顧「廣度搜尋」與「深度驗證」的核心工具。

**WANDR 的核心設計理念**
WANDR 專為解決知識型工作中的複雜任務而設計，例如市場分析、盡職調查、文獻回顧與產品比較。這些任務通常要求 Agent 必須具備兩項關鍵能力：
- **廣度（Wide）**：必須搜尋足夠廣泛的範圍，以找出所有符合條件的實體。
- **深度（Deep）**：必須針對每個實體進行足夠深入的調查，並以具體證據支持每一項主張。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/96fc61167549e4cf.jpg)
> 此圖表展示了 WANDR 基準測試中 500 個研究任務在寬度（所需成員數）與深度（每個成員所需記錄數）維度上的分佈，並依三種難度級別進行標記比較。

WANDR 包含 500 項真實的研究任務，並透過階層式、可獨立驗證的記錄結構來評分。與傳統依賴「標準答案」的測試不同，WANDR 採取「證據驗證」機制，會重新抓取 Agent 所引用的網頁，並檢查該網頁內容是否確實支持其提出的主張，這使得該工具能處理隨時間變化的事實。

**技術架構與執行流程**
WANDR 的評估流程具備高度的自動化與可解釋性，其 pipeline 同時兼具訓練資料生產工廠的功能。開發者可透過以下步驟進行部署與測試：

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/b22d8446849c32f2.png)
> 這張流程圖詳細說明了 WANDR 任務從種子生成、編寫、審核到最終篩選的四個階段建構過程。

1. 確保環境已安裝 `Python 3.12`、`uv` 以及 Docker。
2. 複製專案並同步環境：
   ```bash
   git clone https://github.com/perplexityai/wandr.git
   cd wandr
   uv --no-config sync --locked
   ```
3. 建立環境變數檔案 `.env` 並填入相關 API Key。
4. 執行環境檢查：
   ```bash
   ./scripts/wandr check
   ```
5. 執行快速測試（Smoke Test）：
   ```bash
   ./scripts/wandr smoke-local
   ```

> 注意：`smoke-local` 仍會呼叫付費的 OpenAI 與 Perplexity API，執行前請確認 API Key 與費用。

**評估指標與實際影響**
根據 Perplexity 的測試結果，目前市場上的系統在處理「廣度與深度」兼具的任務時仍有很大進步空間。在 500 項任務的評測中，Perplexity 的「Search as Code」（SaC）系統在 Soft F1 分數上取得 0.363 的領先，而 Anthropic 則以 0.249 位居第二。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/5ed050e0f3bff34e.jpg)
> 根據 WANDR 基準測試結果，Perplexity (PPLX) 在成本與性能的資源權衡邊界上表現最佳，其 Soft F1 與 Hard F1 分數均顯著超越 Anthropic、OpenAI、Gemini 等競爭對手。

WANDR 不僅提供單一的排行榜分數，其詳細的診斷報告能精確指出 Agent 在發現、資料豐富化、實體識別或證據建構等哪個環節失敗。此外，該工具的結構化設計也為強化學習（Reinforcement Learning）提供了潛在路徑，訓練者可以利用記錄層級的判斷來給予部分獎勵，引導 Agent 學會規劃覆蓋範圍並主動偵測缺失的資訊分支。詳細的技術報告與工具原始碼已公開於 [GitHub](https://github.com/perplexityai/wandr) 專案頁面。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/3eb61b146dab4993.jpg)
> 此圖表比較了 PPLX、OpenAI、Anthropic、Parallel、Exa 與 Gemini 在不同成本、中位數延遲及總 Token 消耗量下的 Hard F1 分數表現。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/5925fb68d4fa8552.jpg)
> 在 WANDR 基準測試中，Perplexity (PPLX) 在成本與性能（精準率與召回率）的權衡前沿上，展現出最佳的深寬度研究能力。

## 媒體內容

**根據 WANDR 基準測試結果，Perplexity (PPLX) 在成本與性能的資源權衡邊界上表現最佳，其 Soft F1 與 Hard F1 分數均顯著超越 Anthropic、OpenAI、Gemini 等競爭對手。**

**數據表（1）COST ($/TASK)**

|   | Soft F1 | Hard F1 | Cost |
| --- | --- | --- | --- |
| Exa | 0.07 | 0.02 | 0.5 |
| OpenAI | 0.12 | 0.035 | 0.45 |
| Parallel | 0.07 | 0.02 | 1.2 |
| PPLX | 0.36 | 0.13 | 5.0 |
| Gemini | 0.055 | 0.01 | 15 |
| Anthropic | 0.25 | 0.07 | 45 |

**數據表（2）MEDIAN LATENCY (MINUTES/TASK)**

|   | Soft F1 | Hard F1 | Latency |
| --- | --- | --- | --- |
| Exa | 0.07 | 0.02 | 5 |
| OpenAI | 0.12 | 0.035 | 9 |
| PPLX | 0.36 | 0.13 | 15 |
| Gemini | 0.055 | 0.01 | 22 |
| Parallel | 0.07 | 0.02 | 30 |
| Anthropic | 0.25 | 0.07 | 75 |

**數據表（3）TOTAL TOKENS (M TOKENS/TASK)**

|   | Soft F1 | Hard F1 | Tokens |
| --- | --- | --- | --- |
| OpenAI | 0.12 | 0.035 | 0.15 |
| Gemini | 0.055 | 0.01 | 3 |
| PPLX | 0.36 | 0.13 | 3.5 |
| Anthropic | 0.25 | 0.07 | 50 |

**Perplexity 開源其內部基準測試 WANDR，該基準由 500 個研究任務組成，圖表展示了其在任務成員數、每成員記錄數、每任務記錄數及層級深度上的多樣化分佈，用以評估 AI 代理的廣度與深度研究能力。**

**數據表（1）SCALE • MEMBERS PER TASK**

|   | 25-49 | 50-99 | ≥100 |
| --- | --- | --- | --- |
| <25 = 30% | 15.2% | 24% | 30.8% |

**數據表（2）DENSITY • RECORDS PER MEMBER**

|   | [2, 5) | [5, 15) | ≥15 |
| --- | --- | --- | --- |
| [1, 2) = 10.8% | 40% | 24.4% | 24.8% |

**數據表（3）VOLUME • RECORDS PER TASK**

|   | 100-299 | 300-999 | ≥1000 |
| --- | --- | --- | --- |
| <100 = 10.8% | 44.4% | 40.4% | 4.4% |

**數據表（4）DEPTH HIERARCHY (INTERMEDIATE KEYS)**

|   | 1 | 2 | 3+ |
| --- | --- | --- | --- |
| 0 (flat) = 13.8% | 47.4% | 32.2% | 6.6% |

**在 WANDR 基準測試中，Perplexity (PPLX) 在成本與性能（精準率與召回率）的權衡前沿上，展現出最佳的深寬度研究能力。**

**數據表（1）COST ($/TASK)**

|   | Cost | Soft precision | Soft recall | Hard precision | Hard recall |
| --- | --- | --- | --- | --- | --- |
| Exa | 0.5 | 0.13 | 0.11 | 0.04 | 0.02 |
| OpenAI | 0.5 | 0.15 | 0.12 | 0.05 | 0.04 |
| Parallel | 1.2 | 0.15 | 0.06 | 0.05 | 0.02 |
| PPLX | 5.0 | 0.39 | 0.36 | 0.15 | 0.13 |
| Gemini | 15.0 | 0.13 | 0.04 | 0.06 | 0.01 |
| Anthropic | 45.0 | 0.35 | 0.22 | 0.14 | 0.07 |

**數據表（2）MEDIAN LATENCY (MINUTES/TASK)**

|   | Latency | Soft precision | Soft recall | Hard precision | Hard recall |
| --- | --- | --- | --- | --- | --- |
| Exa | 5 | 0.13 | 0.11 | 0.04 | 0.02 |
| OpenAI | 9 | 0.15 | 0.12 | 0.05 | 0.04 |
| PPLX | 18 | 0.39 | 0.36 | 0.15 | 0.13 |
| Gemini | 23 | 0.13 | 0.04 | 0.06 | 0.01 |
| Parallel | 30 | 0.15 | 0.06 | 0.05 | 0.02 |
| Anthropic | 70 | 0.35 | 0.22 | 0.14 | 0.07 |

**數據表（3）TOTAL TOKENS (M TOKENS/TASK)**

|   | Tokens | Soft precision | Soft recall | Hard precision | Hard recall |
| --- | --- | --- | --- | --- | --- |
| OpenAI | 0.15 | 0.15 | 0.12 | 0.05 | 0.04 |
| Gemini | 2.5 | 0.13 | 0.04 | 0.06 | 0.01 |
| PPLX | 3.0 | 0.39 | 0.36 | 0.15 | 0.13 |
| Anthropic | 50.0 | 0.35 | 0.22 | 0.14 | 0.07 |

## 標籤

Agent, 開源專案, Benchmark, 研究論文, Perplexity