# AI Engineering Skills Map：建置與部署 AI 應用程式

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 原作者：Andrew Ng (@AndrewYNg) · 策展與摘要：EasyVibeCoding · 平台：X (Twitter) · 熱度：🔥🔥🔥 · 日期：2026-08-21

> 原始來源：https://x.com/AndrewYNg/status/2090840747738374568

## 證據與延伸閱讀

- [# AI Engineering Skills Map：建置與部署 AI 應用程式](https://x.com/AndrewYNg/status/2090840747738374568) — 一手來源

## 中文摘要

# AI Engineering Skills Map：建置與部署 AI 應用程式

我之前曾撰文介紹我們的 AI Engineering Skills Map，其中最高層級的 skill 包括：(i) 建置與部署 AI 應用程式、(ii) 軟體工程基礎、(iii) 使用 coding agents，以及 (iv) 形塑建置流程。在這篇文章中，我會進一步說明第一項 skill。

具備建置與部署 AI 應用程式的能力，代表你需要了解：

- LLM 基礎

- 透過資料為模型提供依據

- 建置 Agentic 系統

- 評估驅動開發

- 在正式環境中運作

- 機器學習基礎

這份 skill map 是透過分析大量職缺、結構化專家訪談，以及問卷回覆所建立的。

AI 應用程式與非 AI 軟體之間的關鍵差異，在於前者的輸出較難預測。你事先不知道 LLM 會輸出什麼，也不知道監督式學習演算法會做出什麼預測。由於存在這種不確定性，建置 AI 系統比建置傳統軟體更依賴反覆迭代——流程也更難預先規劃。熟練的 AI 工程師會反覆建置一部分軟體、檢視結果，再決定下一步要嘗試什麼；他們採取的一連串步驟，會受到中間結果高度影響。只要能夠熟練地決定下一步該做什麼，就能以不可靠的 AI 元件為基礎，建立可靠的軟體系統。這需要了解：

**LLM 基礎。** 了解大型語言模型如何將輸入切分成 token，以及如何產生輸出，能讓你判斷什麼時候可以依賴它們、什麼時候它們可能失效。這也能幫助你了解何時該使用多模態模型、如何權衡要放入 context window 的內容，以及如何思考快取命中、知識截止時間、推理投入程度、取樣參數等因素，還有何時該使用 tool calling 等特殊功能。理解這些基礎，有助於你選擇合適的模型或模型組合，並在需要時套用微調或自行代管模型等專門技術。

**透過資料為模型提供依據。** LLM 需要良好的輸入 context，才能產生實用的輸出。使用向量搜尋的 RAG 是早期用來提供 LLM 相關 context 的方法，但如今，透過資料為模型提供依據的技術集合已大幅擴展。舉例來說，你必須決定哪些內容要放進 prompt，哪些內容則讓 LLM 透過工具按需擷取；也必須決定哪種表示方式最適合資料與搜尋查詢：向量索引、知識圖譜，或建構在結構化資料（例如客戶紀錄）之上的語意層。你還需要將文件（文字、PDF、HTML、圖片）轉換成 LLM 可直接使用的輸入，並設計資料管線，讓資料保持乾淨且即時。當你了解有哪些技術可用來取得資料，就更能為 LLM 提供相關的 context。

**建置 Agentic 系統。** Agentic 系統的範圍很廣，從執行預先定義之 LLM 呼叫序列的工作流程，到以 agent harness 為基礎、讓 LLM 反覆自行決定下一步的系統都有。你必須選擇架構——哪些步驟要串接、哪些步驟可以平行化、什麼時候該使用程式碼、什麼時候該使用 LLM——並設計具備備援機制的工作流程或 harness。在設計 Agent 迴圈時，你也需要決定模型可以呼叫哪些工具（包括 MCP、CLI 與沙盒執行環境）、該採用什麼記憶架構、如何管理長時間工作階段中的 context，以及什麼時候任務需要多 Agent 協調，而不是單一 Agent 架構。你也會希望將有潛力的原型轉化為可靠、安全且適合正式環境使用的 Agent；這需要了解防護措施、對抗性輸入，以及如何辨識並避開關鍵風險（例如資料外洩）與治理問題。

Agentic 工作流程正在快速演進。你也會受益於了解與應用領域相關的前沿技術，例如語音 Agent、電腦操作 Agent 或生成式 UI。

**評估驅動開發。** 依我的經驗，能否透過嚴謹的 evals／錯誤分析迴圈來推動開發，是區分優秀 AI 系統建置者與其他人的最重要特質。這能讓你反覆將心力集中在更可能產生良好成果的方向上。我發現這是一項不容易精通的 skill，因為正確的方法會隨專案而顯著不同，甚至也會取決於專案所處的階段。

建置良好的 evals 是一項深度的技術 skill。你可能會檢視系統的 traces 與輸出、執行探索性資料分析，再結合產品與商業洞察，決定要測量什麼。你也應該了解各種 evals 選項，例如什麼時候該使用確定性的（以程式碼為基礎）評估、什麼時候該使用 LLM-as-a-judge，以及什麼時候需要讓人員介入迴圈；同時也要知道如何評估 evals 本身，讓它們持續演進。這些評估結果接著會饋入反覆迭代的流程，推動後續開發，讓進展變得有系統，而不是靠隨機嘗試。

**在正式環境中運作。** AI 軟體的運作方式不同於傳統軟體，原因在於它具有不可預測性、成本與延遲等因素。首先，你應該知道如何建置可觀測性機制，以了解系統在真實使用情境下的效能。你需要追蹤效能、偵測漂移，並快速回應模型失效與安全事件，例如對抗性 prompt 注入。要建立回歸測試與 CI/CD，需要比傳統軟體更多的統計評估；測試投入也應根據錯誤的風險進行校準。此外，了解如何選擇合適的技術組合也很重要，例如模型選擇最佳化、蒸餾與微調，以及 Agentic 工作流程簡化，以最佳化成本與延遲，尤其是在你的應用程式觸及大量使用者時更是如此。

**機器學習基礎。** 現代 LLM 是使用監督式學習與強化學習等機器學習技術建置的。我認識的每位擅長使用 LLM 進行建置的工程師，也都對機器學習與深度學習有一定程度的深入理解。此外，許多應用程式仍需要了解如何使用機器學習——不論是使用其他人訓練好的模型，還是自行訓練模型。這需要了解常見的機器學習與深度學習模型，以及它們在準確度、訓練速度、推論速度等方面的取捨；同時也要理解如何設計訓練與評估這些模型所需的資料。偏差／變異、錯誤分析，以及資料工程等機器學習概念——這些都是引導你處理不確定輸出系統的核心思考框架——對於在 AI 系統開發中做出各種決策，仍然非常關鍵。

要擅長建置與部署 AI 系統，需要學習的內容很多。這是一個技術深度相當高的領域。不過，你學會的每一點內容，都會幫助你更精通 AI Engineering，並建置出更令人興奮的應用程式。軟體工程是這些 skill 的重要補充。我會在未來的文章中談談這部分。

## 標籤

Skills, 教學資源, LLM, Agent, Deployment