← 返回首頁

「aimock」提供了一套全方位的 AI 應用測試基礎設施,透過單一封裝解決 LLM、Agent 及向量資料庫的模擬需求

Nathan Tarbert
Nathan Tarbert
@nathan_tarbert
7🔁 1
𝕏 (Twitter)🔥🔥🔥
AI 中文摘要Claude 生成

「aimock」提供了一套全方位的 AI 應用測試基礎設施,透過單一封裝解決 LLM、Agent 及向量資料庫的模擬需求。

核心定位與價值
「aimock」旨在解決 AI 應用開發中測試困難的痛點,特別是針對依賴外部 API(如 LLM、向量資料庫、搜尋服務)的複雜系統。該工具強調「單一封裝、單一埠口、零依賴」的極簡設計,讓開發者能輕鬆模擬各種 AI 基礎設施,確保測試環境的穩定性與可預測性。

關鍵功能與技術特性
「aimock」提供了一系列針對 AI 應用場景的測試功能,不僅止於簡單的 API 模擬:

  • 全方位模擬支援:涵蓋 LLM (OpenAI, Claude, Gemini 等)、MCP 工具、Agent 對 Agent (A2A) 協議、向量資料庫 (Pinecone, Qdrant 等) 及搜尋服務。
  • 錄製與重播 (Record & Replay):允許開發者代理真實 API 請求並將其儲存為固定資料 (fixtures),實現確定性的測試重播。
  • 混沌測試 (Chaos Testing):支援模擬 500 錯誤、格式錯誤的 JSON 或中途斷線,協助開發者驗證系統的韌性。
  • 漂移檢測 (Drift Detection):透過每日 CI 驗證,確保模擬環境與真實 API 行為保持一致。
  • 串流物理模擬 (Streaming Physics):可配置首字延遲 (ttft)、每秒 Token 數 (tps) 及抖動 (jitter),精確模擬真實網路環境。
  • 部署彈性:提供 Docker 映像檔與 Helm Chart,方便整合至 CI/CD 流程中。

實際應用與生態整合
該工具不僅提供程式化 API,亦具備完整的 CLI 介面,支援透過設定檔進行大規模測試。目前已有如「AG-UI」等專案將其應用於 End to End (端到端) 測試套件中,驗證 AI Agent 在不同 LLM 提供者之間的行為一致性。此外,官方亦提供了從 MSW、mock-llm 等現有工具遷移的詳細指南,降低開發者轉換測試框架的門檻。