# Pi 以精簡 harness 降低成本：換 harness 讓 Databricks 評測的每項任務成本在部分情況下相差逾 2 倍

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 原作者：Pi (@pidotdev) · 策展與摘要：EasyVibeCoding · 平台：X (Twitter) · 熱度：🔥🔥 · 日期：2026-08-06

> 原始來源：https://x.com/pidotdev/status/2084602752143954030

## 證據與延伸閱讀

- [Pi 降低成本，評測相差逾 2 倍](https://earendil.com/posts/pi-autoresearch-and-databricks/) — 官方文件
- [Databricks 評測 harness 影響成本](https://earendil.com/static/posts/pi-autoresearch-and-databricks/databricks-cost-per-task.png)
- [autoresearch 實驗時間縮短](https://earendil.com/static/posts/pi-autoresearch-and-databricks/shopify-autoresearch.png)

## 中文摘要

Pi 以精簡 harness 降低成本：換 harness 讓 Databricks 評測的每項任務成本在部分情況下相差逾 2 倍。

**設計取向** Pi 是一套刻意保持精簡的 coding harness，預設只有 4 個 tools，system prompt 與 tool definitions 合計不到 1,000 tokens。Earendil 認為，多數工作先靠基本工具即可完成；有額外需求時，再由使用者自行建立 extension，而不是把大量預設指令、抽象層與複雜 orchestration 全部塞進工具。

<video src="https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/1785955312861-hw66vtju.mp4" poster="https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/6efe189964ea73b0.jpg" autoplay loop muted playsinline preload="metadata" style="max-width:100%;height:auto;display:block;margin:1rem 0"></video>
> Earendil Engineering 郵件介面展示成本對比圖表，比較 cost per task 與 overall pass-rate 的分佈情況

**Databricks 評測** Databricks 以自家工程師在數百萬行程式庫上經常處理的真實任務建立 benchmark，發現 harness 對成本與品質有關鍵影響。同一模型、相同 thinking effort，改用不同 harness 後，每項任務成本在部分情況下相差超過 2 倍，但品質維持相同；Pi 每回合傳送的 context 約縮減至三分之一，並以更精簡的 working set、較少的執行回合完成任務。搭配 Opus 4.8 與 xhigh 時，Pi 的整體 pass-rate 最高（90.2%），成本則低於 Claude Code 與 Codex（同為 xhigh 檔位下的比較）。Earendil 也舉自身觀察：在複雜工作流上跑 Haiku 4.5 往往比 Sonnet 4.6 更貴，因為 agent 要花更多回合才做完——要看的是端到端工程成本，不是每 token 單價。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/137d6aaf7f3b204a.png)
> Pi 在 Databricks 評測中展現最佳的成本與效能權衡，其中 Opus 4.8 (pi, xhigh) 以 90.2% 的 overall pass-rate 取得最高通過率。

**Shopify 案例** Shopify 工程師 David Cortés 描述，他只用一句「Pi, create an extension for Autoresearch…」，Pi 讀自己的 extension 文件就把 pi-autoresearch 建了出來。Autoresearch 是一個可針對可量化目標反覆實驗的自主 loop：它保留有效變更、捨棄造成 regression 的方案，持續改善結果。Shopify 回報的案例包括：

- unit tests 執行速度成長為 300 倍。
- React component mounting 速度提升 20%。
- 多個專案的 build time 縮短，pnpm 效能也獲得改善。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/01ae8dad9f0e82f9.png)
> autoresearch 在 Shopify-liquid 實驗中將 combined 執行時間由 Baseline 的 7,374µs 縮短 41.3% 至 4,331µs

**實際意義** Pi 的精簡並不代表僵化，而是把複雜度交給使用者選擇。Earendil 認為，當 frontier models 已能理解 terminal 式環境後，harness 的重點不再只是「原生」整合，而是減少重複 context、維持乾淨介面與穩定 prompt prefix；Anthropic 近期把 Claude Code 的 system prompt 砍掉 80%，正是這個趨勢的明證。這也有利於 context window 較小、prefill 較慢的 local models，讓 Pi 在成本、執行效率與可擴充性之間取得平衡。

## 媒體內容

**Pi 在 Databricks 評測中展現最佳的成本與效能權衡，其中 Opus 4.8 (pi, xhigh) 以 90.2% 的 overall pass-rate 取得最高通過率。**

**數據表**

| 項目 | 數值 |
| --- | --- |
| GPT 5.4-mini (codex) | ($0.27, 58.5%) |
| Haiku 4.5 (claude code) | ($0.37, 50.7%),GPT 5.4 (codex |
| med) | ($0.63, 73.0%),Opus 4.8 (pi |
| high) | ($0.95, 85.3%) |
| Sonnet 4.6 (claude code) | ($1.10, 76.0%) |
| GLM 5.2 (pi) | ($1.28, 87.0%),GPT 5.5 (codex |
| med) | ($1.35, 79.5%),GPT 5.5 (pi |
| high) | ($1.55, 81.2%),GPT 5.5 (pi |
| xhigh) | ($1.73, 79.5%),GPT 5.5 (codex |
| high) | ($1.95, 82.2%),Opus 4.8 (claude code |
| high) | ($1.96, 87.4%) |
| Sonnet 5 (claude code) | ($2.05, 81.2%),Opus 4.8 (pi |
| xhigh) | ($2.21, 90.2%),GPT 5.5 (codex |
| xhigh) | ($2.45, 79.5%),Opus 4.8 (claude code |
| xhigh) | ($3.20, 88.1%),Opus 4.8 (pi |
| max) | ($3.62, 81.4%),Opus 4.8 (claude code |
| max) | ($4.30, 89.2%) |

**autoresearch 在 Shopify-liquid 實驗中將 combined 執行時間由 Baseline 的 7,374µs 縮短 41.3% 至 4,331µs**

**數據表（1）Baseline & Progress Summary**

| 項目 | 數值 |
| --- | --- |
| Baseline: combined_µs | 7,374µs (#1) |
| Progress: combined_µs | 4,331µs (#46, -41.3%) |
| parse_us | 3,046 (-48.6%) |
| render_us | 1,285 (-11.1%) |
| allocations | 29,711 (-52.6%) |
| parse_µs | 3,046µs (-15.4%) |
| render_µs | 1,285µs (-15.7%) |

**數據表（2）Runs Table**

|   | commit | combined | parse_us | render_us | allocation | parse_µs | render_µs | status | description |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 44 | 3799d4c | 4,366µs | 3,105 | 1,261 | 30,169 | 3,105µs | 1,261µs | keep | Lazy seen={} hash in Utils.to_s/inspect - avoid 540 hash allocs pe |
| 45 | 0b07487 | 4,332µs | 3,035 | 1,297 | 29,711 | 3,035µs | 1,297µs | keep | Fast-path VariableLookup: skip scan_variable for simple identifier |
| 46 | 091534f | 4,331µs | 3,046 | 1,285 | 29,711 | 3,046µs | 1,285µs | keep | parse_simple: skip redundant simple_lookup? when Variable already |
| 47 | 9de1527 | 4,630µs | 3,376 | 1,254 | 29,645 | 3,376µs | 1,254µs | keep | Introduce Cursor class: centralize tag/variable/condition parsing |
| 48 | dd4a100 | 4,843µs | 3,415 | 1,428 | 29,645 | 3,415µs | 1,428µs | keep | Code cleanup: remove 74 lines of dead code replaced by Cursor (sim |
| 49 | dd4a100 | 5,049µs | 3,765 | 1,284 | 29,793 | 3,765µs | 1,284µs | discard | REVERTED: Cursor for For tag adds 148 allocs from scan_id/scan_fra |

## 標籤

Harness, LLM, 開源專案, Databricks, Earendil