# 策展 · X (Twitter) 🔥

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 作者：Google Gemma (@googlegemma) · 平台：X (Twitter) · 日期：2026-04-22

> 原始來源：https://x.com/googlegemma/status/2046621841146671456

## 中文摘要

Google Gemma 開放原始碼示範，在本地硬體上同時運行10+個Gemma 4實例。

Google Gemma團隊發布開源程式庫，讓使用者在本地硬體上輕鬆運行多個Gemma 4模型並行實例，展示高效率的本地部署能力。該示範特別強調在MacBook Pro M4 Max上運行「Gemma 4 26B A4B」模型，能處理10+個並發請求，每請求達18 token/sec速度，挑戰傳統觀點認為大型模型無法高效本地多工。

**硬體與效能表現**  
在MacBook Pro M4 Max上，「Gemma 4 26B A4B-it-UD-Q4_K_M.gguf」模型透過llama-server輕鬆支援10+並發實例，每個請求維持18 token/sec。llama-server啟動指令為：`llama-server -m gemma-4-26B-A4B-it-UD-Q4_K_M.gguf -c 70000 -np 10 --metrics --reasoning off`，其中`-np`設定為並發實例數+1（包含orchestrator），每個slot的context長度為`-c / -np`。

**快速啟動步驟**  
示範僅限macOS環境，使用AppleScript管理Terminal視窗，並依賴uv套件管理和llama.cpp的llama-server（運行於localhost:8080）。  
- 安裝依賴：`uv sync`  
- 啟動llama-server（如上指令）  
- 執行示範：`bash run.sh --scenario [情境] --topic "[主題]" --tasks 10`  

**支援情境範例**  
示範內建多種任務，開啟Terminal視窗呈現網格布局：上方為dashboard，中間orchestrator，下方N個Gemma 4實例即時視覺化運作。  
- SVG生成：`bash run.sh --scenario svg --topic "Technology and AI" --tasks 10`  
- 文字翻譯：`bash run.sh --scenario translate --topic "Gemma 4 is a family of models released by Google DeepMind." --tasks 10`  
- 程式碼生成：`bash run.sh --scenario code --topic "FizzBuzz" --tasks 10`  
- ASCII藝術：`bash run.sh --scenario ascii --topic "animals" --tasks 10`  

**自訂新情境**  
使用者可編輯`demo/scenarios.py`新增情境，定義Agent清單、規劃提示和結果模板。核心函數`make_my_agents(n: int = 10)`產生10個Agent，每個帶有name、emoji、color和direct_instruction（如"Process {topic} in style X"）。MY_PLAN為系統提示，輸出JSON陣列包含n_agents個物件（name與instruction）；MY_SYSTEM定義Agent行為，強調僅輸出特定格式。`my_template`建構HTML呈現結果。新增後至SCENARIOS字典，並執行`bash run.sh --scenario my_scenario --topic "My Topic"`。完整程式碼與示範連結：https://goo.gle/concurrent-gemma-4，以及GitHub程式庫https://github.com/google-gemma/cookbook/tree/main/apps/concurrent。

此開源示範不僅證明Gemma 4在消費級硬體上的多工潛力，還提供可擴展框架，讓開發者快速驗證本地AI Agent並行效能，呼應Google DeepMind推動輕量高效模型的趨勢。

## 標籤

LLM, 開源專案, Deployment, macOS, Google, Gemma