# 策展 · X (Twitter) 🔥🔥🔥🔥🔥

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 作者：OpenAI (@OpenAI) · 平台：X (Twitter) · 日期：2026-07-09

> 原始來源：https://x.com/OpenAI/status/2074972179385720836

## 中文摘要

OpenAI 宣布撤回對 SWE-Bench Pro 的推薦。

**核心審計結果**
OpenAI 針對目前廣泛使用的 AI 程式開發基準測試「SWE-Bench Pro」做了全面審計，發現該基準測試中約有 30% 的任務存在嚴重缺陷，導致其無法準確衡量前沿模型的程式開發能力。基於此項發現，OpenAI 正式撤回先前建議研究社群使用 SWE-Bench Pro 作為主要程式開發評估指標的立場。

**任務缺陷分類**
審計團隊指出，SWE-Bench Pro 的任務問題主要集中在以下四個面向，這些問題會扭曲評估結果，導致模型因非能力因素而失敗：
- 過於嚴格的測試：強制要求提示詞（prompt）中未明確規定的實作細節，導致功能正確的程式碼無法通過測試。
- 規格不明確的提示詞：隱藏測試要求與提示詞內容不符，且無法從現有資訊中合理推斷。
- 測試覆蓋率不足：測試項目未能完整檢查請求的功能，導致不完整的修復方案也能通過。
- 誤導性的提示詞：提示詞引導模型走向錯誤的行為，或與測試要求產生矛盾。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/44cead02fa88b297.png)
> 根據 OpenAI 對 SWE-Bench Pro 的審計，不論是透過人類監督的代理審查或人類標註，皆發現有顯著比例的任務存在問題，其中以「過於嚴格的測試（Overly strict tests）」佔比最高（分別達 14.4% 與 17.8%），證實該基準測試存在可能扭曲評估結果的缺陷。

**審計方法論**
為了確保審計的規模化與準確性，OpenAI 採用了「模型輔助調查 Agent」結合「專家人工審查」的混合模式：
1. 資料品質管道：利用自動化過濾器檢視模型嘗試、任務元資料與失敗軌跡，初步標記出潛在問題任務。
2. Agent 審計：部署基於 Codex 的調查 Agent，賦予其存取任務儲存庫與環境的權限，深入分析任務歧義與常見失敗模式。
3. 人工審查：由五位經驗豐富的軟體工程師獨立評估，針對 Agent 標記的任務做最終判斷，並對意見不一致的案例升級審查。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/64cc2fe42f01cfbc.png)
> 這是一張展示 OpenAI 品質保證流程（Quality assurance pipeline）的架構圖，說明從自動化篩選到人工審核的資料品質檢測機制。

**對未來評估的啟示**
OpenAI 強調，隨著模型能力的提升，評估基準必須變得更困難、更公平且更具公信力。由於開源專案的歷史 Pull Request 本質上是為人類協作設計，其測試案例往往過於針對特定變更，而非定義通用的解決標準，這使得將其轉化為可靠的 AI 評估基準面臨挑戰。OpenAI 呼籲研究社群應開發由專業軟體工程師專門設計的新基準，以確保評估結果能真實反映模型的實際能力與對齊程度。

## 媒體內容

**根據 OpenAI 對 SWE-Bench Pro 的審計，不論是透過人類監督的代理審查或人類標註，皆發現有顯著比例的任務存在問題，其中以「過於嚴格的測試（Overly strict tests）」佔比最高（分別達 14.4% 與 17.8%），證實該基準測試存在可能扭曲評估結果的缺陷。**

**數據表**

|   | Human supervised agent review | Human annotations |
| --- | --- | --- |
| Overly strict tests | 14.4% | 17.8% |
| Low-coverage tests | 4.1% | 9.4% |
| Misleading prompt | 6.3% | 7.5% |
| Miscellaneous issues | 1.9% | 1.2% |
| Underspecified prompt | 0.6% | 0.8% |

## 標籤

Benchmark, 產業趨勢, 其他, OpenAI