# Vero 測試 GPT-5.5 xhigh 在真實專案中同時完成程式碼與證明，90 分鐘解決 27/43 個實例

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 原作者：Dawn Song (@dawnsongtweets) · 策展與摘要：EasyVibeCoding · 平台：X (Twitter) · 熱度：🔥 · 日期：2026-08-23

> 原始來源：https://x.com/dawnsongtweets/status/2091215979334533597

## 證據與延伸閱讀

- [Vero 測試 GPT-5.5 xhigh 在真實專案中同時完成程式碼與證明，90 分鐘解決 27/43 個實例。](https://x.com/dawnsongtweets/status/2091215984782921889) — 一手來源 · 最後核對：2026-08-23 · 支持主張：論文補足 benchmark 涵蓋 Python、Dafny、Verus 與 Coq source domains，並設有處理不一致 specifications 或 references 的 audit mechanism；thread 進一步說明 fixed APIs、human-curated specifications、reference implementations，以及 GPT-5.5 xhigh 在 90 分鐘預算內的兩種模式結果。
- [Vero repository-level benchmark — arxiv.org](https://arxiv.org/abs/2608.13522) — 官方文件 · 最後核對：2026-08-23 · 支持主張：論文補足 benchmark 涵蓋 Python、Dafny、Verus 與 Coq source domains，並設有處理不一致 specifications 或 references 的 audit mechanism；thread 進一步說明 fixed APIs、human-curated specifications、reference implementations，以及 GPT-5.5 xhigh 在 90 分鐘預算內的兩種模式結果。

## 中文摘要

Vero 測試 GPT-5.5 xhigh 在真實專案中同時完成程式碼與證明，90 分鐘解決 27/43 個實例。

最強的 GPT-5.5 xhigh 設定在 90 分鐘限制內，於 code-and-proof 模式完成 27/43 個實例。

**測試設計** Vero 收錄 43 個源自真實專案的多模組 Lean 4 儲存庫，涵蓋 Python、Dafny、Verus 與 Coq 等來源語言。每個實例都提供固定 API、人工整理的規格與參考實作，要求 Agent 在既定介面與規格下完成工作。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/6dc7f15a22e90521.jpg)
> Vero 的端對端建構與評估工作流程圖，分為 1 BENCHMARK CURATION（包含 1A REAL-WORLD REPOSITORIES、1B HUMAN-GATED CURATION、1C CURATED LEAN 4 BENCHMARK）、2 AGENT GENERATION（包含 2A PROOF-ONLY MODE 與 2B CODE + PROOF MODE）以及 3 EVALUATION（包含 3A INDEPENDENT GRADER 與 3B FORMAL AUDIT ROUTE），下方附有標題 Figure 1 與詳細說明文字。

- `proof-only`：只合成機器可檢查的證明。
- `code-and-proof`：同時實作程式碼並完成證明。

**評測結果** @dawnsongtweets 表示，最強設定在 code-and-proof 模式完成 27/43 個實例；在 proof-only 模式則完成 25/43 個。這組結果顯示，當任務從單純證明擴大到同時實作程式碼與證明時，仍有許多實例無法在有限時間內完全解決。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/4e6db660000d55af.jpg)
> Vero 基準測試包含 43 個實例，其中 Track 1（形式化）在 APIs、Specs 與 Source LoC 的平均數皆高於 Track 2（非形式化）。

**方法與可信度** Vero 另設稽核機制，用於處理規格或參考實作彼此不一致的情況，避免評測結果受到不合理題目條件影響。官方貼文附上的結果圖比較兩種模式下的模型表現，而〈[Vero 基準測試論文](https://arxiv.org/abs/2608.13522)〉提供正式方法與完整的測試規範。

## 媒體內容

**Vero 基準測試包含 43 個實例，其中 Track 1（形式化）在 APIs、Specs 與 Source LoC 的平均數皆高於 Track 2（非形式化）。**

**數據表**

|   | Source languages | Inst. | APIs mean | APIs max | Specs mean | Specs max | Source LoC mean | Source LoC max |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| Track 1 (formal) | Dafny, Verus, Coq | 13 | 36.0 | 88 | 92.8 | 203 | 7,759 | 56,887 |
| Track 2 (non-formal) | Python | 30 | 9.2 | 71 | 50.0 | 109 | 793 | 4,047 |
| Overall | - | 43 | 17.3 | 88 | 62.9 | 203 | 2,899 | 56,887 |

## 標籤

GPT, Agent, Benchmark, OpenAI