# Qwen 分享 Qwen-MM-Plugins，將 Agent 擴充為原生多模態工具架構 > 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt) > 原作者：Qwen (@Alibaba_Qwen) · 策展與摘要：EasyVibeCoding · 平台：X (Twitter) · 熱度：🔥🔥 · 日期：2026-08-11 > 原始來源：https://x.com/Alibaba_Qwen/status/2086664887560970531 ## 證據與延伸閱讀 - [Qwen 分享 Qwen-MM-Plugins，將 Agent 擴充為原生多模態工具架構](https://x.com/Alibaba_Qwen/status/2086664887560970531) - [每項能力由 skill 加上可選的 MCP server 組成](https://github.com/QwenLM/Qwen-MM-Plugins/blob/main/README.zh.md) — 官方 Repository - [示範影片展示core多項功能](https://video.twimg.com/amplify_video/2086663463162830848/vid/avc1/1920x1080/HwrZVWnd1PrcCIZR.mp4?tag=29) ## 中文摘要 Qwen 分享 Qwen-MM-Plugins，將 Agent 擴充為原生多模態工具架構。 **分享重點**　Alibaba_Qwen 於 2026-08-10 發文表示，「看見」只是起點；Qwen-MM-Plugins 的目標，是把多模態模型的能力延伸到多模態 Agent。相關程式庫已公開於 [QwenLM/Qwen-MM-Plugins](https://github.com/QwenLM/Qwen-MM-Plugins)，讓使用者在既有的 agent harness 中加入可重複使用的 skill 與工具，而不必為每種檔案格式自行撰寫整套處理流程。 **運作方式**　每項能力由一個 skill 加上可選的 MCP server 組成。skill 讓 model 知道有哪些工具可用，MCP server 則在需要時提供實際工具；README 表示，這些伺服器會由 `uvx` 按需啟動，Python 相依套件也會在第一次啟動時自動安裝。支援的 harness 包括 Claude Code、Codex、Qoder、OpenClaw、Qwen Code 與 Gemini CLI，並以共用設定檔 `~/.qwen-mm-plugins/config` 讓圖形介面與終端機中的 harness 共用設定。 **主要能力**　目前程式庫將功能拆成多個可個別安裝的 capability，涵蓋從視覺理解到內容生成的不同工作： - `core`：以 dynamic-resolution 處理影像、影片、文件與 3D 模型，並提供 OCR、grounding、分割、ASR、vision chat 與網路搜尋。 - `video-memory`：建立階層式 graph memory，讓 Agent 能針對超長影片問答、事件擷取、時間定位與語意搜尋。 - `omni-av`：處理音訊與影片，支援帶時間戳與講者標籤的 ASR、時間字幕、事件計數與音樂標註。 - `video-edit`：支援影片編輯，以及影像、影片與音訊生成工作流程。 - `blender`：透過 thin client 操作正在執行的 Blender，提供 22 個工具，用於建模、材質、燈光與渲染。 - `freecad`：操作正在執行的 FreeCAD，提供 14 個工具，涵蓋參數式建模、屬性修改、STEP／STL 匯入匯出與 FEM 分析。 - `edu-agent`：把數學或科學題目、甚至一張圖片轉成逐步講解的中文教學影片或互動頁面；此能力只有 skill，沒有 MCP server。 **安裝與設定**　README 提供導引式安裝器，宣稱可統一處理安裝、設定、驗證與解除安裝。來源所列的快速安裝指令如下，但這是會下載遠端腳本並直接交給 shell 執行的 `curl | bash` 高風險來源指令，使用前應由人工核對腳本內容、版本與執行權限，不宜視為可安心直接執行： ```bash curl -fsSL https://raw.githubusercontent.com/QwenLM/Qwen-MM-Plugins/main/install.sh | bash ``` 來源也列出可分開執行的動作：`bash install.sh install`、`bash install.sh configure`、`bash install.sh verify` 與 `bash install.sh uninstall`。其中 `verify` 會檢查 API key 與系統工具；`configure` 則可將設定寫入 `~/.qwen-mm-plugins/config`。API 型工具使用 `DASHSCOPE_API_KEY`，網路搜尋與圖片搜尋使用 `SERPER_API_KEY`；原生影像、影片與文件閱讀則不需要 API key。影片與音訊功能需要 `ffmpeg`，`visualize` 相關功能還可選用 `libreoffice`、`blender`、`texlive` 與 `chromium`。 **示範中的多模態工作**　示範影片呈現 `core` 以「先看全貌、再放大細節」的 dynamic resolution 閱讀長影片與 PDF，並展示對 `.pdf`、`.glb`、`.step`、GIS、DrawIO、CSV、程式碼、Notebook、SVG、PPT、XLS、Word 與 LaTeX 等格式的檢視。畫面也示範文件表格的色彩辨識、網頁價格顯示問題的定位與修正驗證，以及以 bounding box 標註 Laptop、Coffee cup、Mobile phone 等物件。 畫面顯示的示範還包括 OCR 支援 32 種語言、ASR 輸出 27 種語言的 SRT 字幕、反向圖片搜尋與網路搜尋驗證資訊。這些語言數字與功能流程是示範影片中的畫面資訊，應視為 demo 展示，而非僅由發文貼文直接宣告的規格。 **長影片、3D 與教育應用**　影片以一部超過 8 小時、包含 10 集與額外內容的長篇影集展示 `video-memory`：系統先做場景邊界偵測，再建立由 micro、macro、super-event 到 root 的視覺場景圖，接著建立向量索引並做最近鄰檢索，最後回答劇情問題並產生角色關係圖。`video-edit` 則展示從露營影片中剪輯內容；`blender` 能在對話中建立室內空間、配置家具，並在發現電視背面朝向客廳的透視問題後，自動將電視旋轉 180 度。`freecad` 對應參數式 CAD 與工程模擬，而 `edu-agent` 則把生物題目轉成包含動態效果的教學影片。 **實際影響**　這項分享的核心不是新增單一多模態模型，而是提供一層可整合進既有 Agent 生態系的工具架構。使用者可以在 harness 中直接引用檔案並提出自然語言要求，由 model 選擇合適工具；示範影片也顯示 Claude Code、OpenClaw、QwenPaw、Qoder 與 Codex 等介面可透過單一指令安裝或使用這些能力。Qwen-MM-Plugins 因此把影像與影片理解、檔案檢視、搜尋、生成、3D 建模和教學內容製作，集中到同一套可擴充的 Agent 工作流程中。 > Qwen-MM-Plugins 讓 Agent 具備多元視覺能力的開源擴充套件架構 ## 媒體內容 **Qwen-MM-Plugins 讓 Agent 具備多元視覺能力的開源擴充套件架構** **影片中的 Prompt 與操作** Prompt（03:08）： ``` 根據附件中的生物學問題，自動生成解說影片。 影片需要融入動態效果，同時保持酷炫且逼真的視覺風格。 ``` 原文：Automatically generate explanatory videos based on the biology questions in the attachment. The videos need to incorporate dynamic effects while maintaining a cool and realistic look. Prompt（03:21）： ``` 幫我安裝這個外掛程式：https://github.com/QwenLM/Qwen-MM-Plugins/tree/main ``` 原文：Help me install this plugin: https://github.com/QwenLM/Qwen-MM-Plugins/tree/main Prompt（03:37）： ``` 幫我編輯精華片段並加入一些字幕特效。 我希望能聚焦在小貓看到的東西上。 ``` 原文：Help me edit the highlights and add some subtitle effects. I'd like to focus on what the kitten sees. 操作步驟： 1. （00:16）執行終端機指令安裝 Qwen-MM-Plugins 2. （00:18）在安裝選單中勾選功能模組 3. （01:05）在網頁 Pricing 方案中選取 PRO 並修改價格文字顏色 4. （01:49）在影音平台介面輸入提示詞分析影集 5. （03:21）在 Agent 介面輸入指令安裝擴充套件 6. （03:37）在 QwenPaw Creator 輸入影片與剪輯提示詞 7. （03:43）透過對話互動調整影片剪輯內容 ## 標籤 Agent, 開源專案, VLM, Alibaba, Qwen, GitHub