# Parallel Web Systems 指南主張以端到端任務成本與答案品質評估 Agentic Web Search

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 原作者：Parallel Web Systems (@p0) · 策展與摘要：EasyVibeCoding · 平台：X (Twitter) · 熱度：🔥 · 日期：2026-09-01

> 原始來源：https://x.com/p0/status/2094547390909010051

## 證據與延伸閱讀

- [Parallel Web Systems 指南主張以端到端任務成本與答案品質評估 Agentic Web Search。](https://docs.parallel.ai/search/best-practices) — 一手來源 · 最後核對：2026-09-01 · 支持主張：The guide frames answer quality as Agent Harness + LLM + Search + Extract, then gives a production-like eval recipe: build reviewed gold data, hold the harness and model constant, allow multi-turn search, grade final answers and citations, classify failures, measure resolved-task cost and latency, and report confidence intervals. It also documents Parallel-specific objective, include_domains, and fast versus advanced mode guidance.
- [Parallel Search API evaluation — parallel.ai（貼文明示來源）](https://parallel.ai/products/search) — 一手來源 · 支持主張：The guide frames answer quality as Agent Harness + LLM + Search + Extract, then gives a production-like eval recipe: build reviewed gold data, hold the harness and model constant, allow multi-turn search, grade final answers and citations, classify failures, measure resolved-task cost and latency, and report confidence intervals. It also documents Parallel-specific objective, include_domains, and fast versus advanced mode guidance.
- [Parallel Search API evaluation — parallel.ai（貼文明示來源）](https://parallel.ai/products/extract) — 一手來源 · 支持主張：The guide frames answer quality as Agent Harness + LLM + Search + Extract, then gives a production-like eval recipe: build reviewed gold data, hold the harness and model constant, allow multi-turn search, grade final answers and citations, classify failures, measure resolved-task cost and latency, and report confidence intervals. It also documents Parallel-specific objective, include_domains, and fast versus advanced mode guidance.
- [Parallel Search API evaluation — parallel.ai（貼文明示來源）](https://parallel.ai/products/task) — 一手來源 · 支持主張：The guide frames answer quality as Agent Harness + LLM + Search + Extract, then gives a production-like eval recipe: build reviewed gold data, hold the harness and model constant, allow multi-turn search, grade final answers and citations, classify failures, measure resolved-task cost and latency, and report confidence intervals. It also documents Parallel-specific objective, include_domains, and fast versus advanced mode guidance.
- [parallel.ai](https://docs.parallel.ai/extract/best-practices)
- [Parallel 於 2026 年 8 月 31 日發布指南](https://x.com/p0/status/2094547390909010051)

## 中文摘要

Parallel Web Systems 指南主張以端到端任務成本與答案品質評估 Agentic Web Search。

**評估核心**　Parallel Web Systems 於 2026 年 8 月 31 日發布「How to eval web search for AI」指南，由 @everythingmeta 撰寫。指南將答案品質拆成「Agent Harness + LLM + Search + Extract = Answer」，指出 Search 負責找出可放入 `context window` 的相關資訊，Extract 讀取已知 URL 的完整內容，而 Research 或 Task API 則接收較大的目標，自行完成搜尋、閱讀與 LLM 合成。若需求是「給定目標與輸出格式，回傳有來源的結構化答案」，Task API 可能比單獨使用 Search API 更合適；實際產品通常仍會搭配 Search 與 Extract，讓 agent 判斷是否需要深入讀取頁面。

**建立可信測試資料**　指南反對直接把查詢送進搜尋 API，因為真實 agent 可能自行改寫查詢、縮小範圍並進行多輪搜尋；評估應以最終答案為準。測試集優先採用既有、人工整理且符合實際流量的資料；若必須產生合成資料，應先人工撰寫幾題，再讓 agent 擴充，並比對正式環境的措辭、領域、答案類型與新鮮度。每個 gold label 都要由人工審查，常見題型包括：

- 需要跨來源組合事實的 multi-hop 問題。
- 模型既有權重中不一定有答案的最新問題。
- 對應實際使用情境的領域專屬問題。
- 避免過度依賴 BrowseComp、SealQA 等公開 benchmark；若採用，必須確認它們測量的項目是否適合自身案例。

**控制實驗變因**　比較不同搜尋供應商時，模型、prompt、預算、judge 與 Agent Harness 都要固定，只將其中唯一可用的 Search 工具換成不同供應商。agent 應被允許進行多輪搜尋，因為它們通常會搜尋、縮小範圍後再次搜尋；成本控制應反映實際使用情境的總搜尋預算，而不是任意限制輪數。每個實驗組至少執行 3 次，並以部署時使用的 model 評估；若同時選擇 model 與搜尋工具，則應比較 model × search 組合，而非只問哪家搜尋供應商最好。

**Parallel 設定建議**　指南稱，在 `search_queries` 之外提供自然語言 `objective`，可讓 agent 說明正在解決的目標，搜尋品質據 Parallel 自家說法可改善 10–20%。查詢限制與模式設定包括：

- `search_queries` 使用 1–5 個關鍵字查詢，每個查詢 3–6 個單字、最多 200 個字元；超過第五個查詢會被捨棄並回傳輸入驗證警告。工具定義則要求 1–3 個查詢，且不得使用句子、指令或 `site:`。
- 不要讓 agent 產生 `site:` 或 `after:` 運算子；需要限制網域時，使用 `include_domains` CLI/API 參數。
- `objective` 最多 5000 個字元，建議和 `search_queries` 一起傳送；`search_queries` 至少要有一個非空查詢。
- `mode` 應依品質、成本與延遲比較 `fast`、`advanced`，必要時也評估 `turbo`。`fast` 適合低成本、接近前沿品質且需要大量搜尋的 agentic 情境；`advanced` 以品質最大化為目標，但不能只看模式名稱，仍要檢視實際結果。
- 同一任務的 Search 與 Extract 呼叫應重用相同的 `session_id`，新任務則使用新的值；`client_model` 可指定產生請求並消費結果的 model，例如 `Claude Opus 4.7`、`GPT-5.4` 或 `Gemini 3.1 Pro`。

**依題型評分**　評估不應只看搜尋回傳內容，而要檢查 agent 的完整答案與引用是否支撐結論。指南建議使用高階模型作為「LLM as a judge」，但要求 judge 同時回傳判定理由，並由人工至少抽查 10% 的成功與失敗執行結果。不同任務可採用不同指標：

- 事實題：對照 gold answer 的正確性與引用支援。
- 清單或探索題：比較正確項目的 recall，以及回傳內容的 precision。
- 結構化輸出或 enrichment：逐欄位比對 gold records。
- 開放式研究：依涵蓋度、來源品質與主張正確性進行 rubric-based judging。

**拆解失敗原因**　結果出錯時，不能一概歸咎於 Search API。指南要求將問題分類為未呼叫搜尋工具、供應商錯誤、retrieval miss，以及 synthesis failure：前者代表 agent 沒有發出 tool call；供應商錯誤包含逾時、5xx 與拒絕；retrieval miss 是查詢合理但取得錯誤結果；synthesis failure 則是正確結果已在 `context` 中，model 仍然回答錯誤。只有後兩類中的 retrieval miss 與供應商錯誤可直接視為搜尋 API 失敗，而高負載評測中的部分錯誤也可能來自帳戶限制，不代表產品能力本身。

**以任務完成成本衡量**　真正重要的是完成一項任務的端到端成本，而非單次搜尋價格。低價但雜訊高、結果密度低的 API，可能因增加呼叫、推理跳數與輸入 token 而更昂貴。建議計算：

`cost per resolved task = (search + extract + model token charges) / # of resolved tasks`

同時追蹤每次執行的總 tool calls、每項任務的 token 數，以及 p50、p95、p99 延遲；結果長度與 hop count 只能作為輔助，不能單獨當成效率指標，因為冗長內容可能讓 agent 更早完成，過度壓縮則可能迫使它增加搜尋輪次，平行呼叫也會低估實際工作量。

**解讀差異與限制**　指南建議繪製準確率對成本、準確率對延遲的 Pareto frontier，尋找符合自身限制的前沿方案，而不是宣稱存在單一最佳搜尋工具。約 100 題的測試中，1 至 2 個百分點的差異通常可能落在雜訊內，因此應使用 bootstrap confidence intervals，並誠實標示統計上無法區分的平手結果；每次測試也要記錄日期、model、供應商模式與參數、結果數量、成本公式及執行日期。需要注意的是，10–20% 的改善幅度與模式建議都是 Parallel 自家主張，本來源沒有提供獨立 benchmark 或已完成的供應商比較結果；搜尋品質、價格、模式名稱與參數上限也可能變動，原始摘錄另有中段截斷。

## 標籤

教學資源, BrowseComp, Search, Extract, and Research or Task APIs, Parallel Web Systems