# Unsloth Desktop 將訓練與部署留在本機，VRAM 減少 70% > 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt) > 原作者：Unsloth AI (@UnslothAI) · 策展與摘要：EasyVibeCoding · 平台：X (Twitter) · 熱度：🔥🔥🔥🔥 · 日期：2026-08-12 > 原始來源：https://x.com/UnslothAI/status/2087177146662072546 ## 證據與延伸閱讀 - [Unsloth Desktop 將訓練與部署留在本機，VRAM 減少 70%](https://x.com/UnslothAI/status/2087177146662072546) - [訓練速度與VRAM數據](https://github.com/unslothai/unsloth) — 官方 Repository - [不收集telemetry](https://unsloth.ai/docs/desktop) — 官方文件 ## 中文摘要 Unsloth Desktop 將訓練與部署留在本機，VRAM 減少 70%。 **分享重點** UnslothAI 於 2026 年 8 月 11 日介紹 Unsloth Desktop，定位為免費、open-source 的跨平台桌面應用程式。它可在 macOS、Windows、Linux 以及多種 CPU、GPU 硬體上運作，讓使用者不必把模型、資料與推論流程交給雲端，就能在自己的電腦上聊天、訓練、執行程式碼與部署服務。官方入口為 [unsloth.ai](https://unsloth.ai)、[GitHub](https://github.com/unslothai/unsloth)、[Unsloth Desktop 文件](https://unsloth.ai/docs/desktop)，完整文件索引見 [llms.txt](https://unsloth.ai/docs/llms.txt) 與 [Markdown 文件](https://unsloth.ai/docs/desktop.md)。 這項分享的核心價值，是把原本分散在模型下載、量化、推論、fine-tuning、Agent 工具串接與遠端部署的工作，集中到一個可在本機執行的介面中。官方宣稱訓練速度可達 2 倍、VRAM 使用量減少 70%，tool calls 的準確率最多提升 50%；這些數字均為 Unsloth 的產品宣稱，實際結果仍會受到 model、硬體、量化設定與工作負載影響。 **跨平台與模型支援** Unsloth Desktop Beta 支援 macOS、Windows、Linux，並涵蓋 LLM、diffusion image/video、MLX、GGUF、embedding 與 audio models。下載入口分為 [macOS](https://unsloth.ai/download/mac)、[Windows](https://unsloth.ai/download/windows) 及 [Linux and WSL](https://unsloth.ai/download/linux)；安裝文件分別是 `https://unsloth.ai/docs/get-started/install/mac.md`、`https://unsloth.ai/docs/get-started/install/windows-installation.md` 與 `https://unsloth.ai/docs/get-started/install/linux.md`。 首次使用時，使用者可從「Select model」選單或「Model hub」挑選符合裝置能力的 model 與 quantization，下載完成後即可開始聊天，不需要額外設定。官方列出的模型包括 Kimi K3、MiniMax-H3、Qwen3.8、Muse Glimmer、DeepSeek-V4、Gemma 4、Qwen-AgentWorld、Ornith、Kimi K2.7 Code、MiniMax M3、GLM-5.2、DiffusionGemma、Qwen3.6 與 Gemma 4；其中 GLM-5.2 被描述為 Z.ai 的 744B-parameter、1M-context open model，可透過 Dynamic GGUFs 在本機執行。 Unsloth 也宣稱支援 CPU、NVIDIA、AMD、Intel 與 Mac GPU，以及 multi-GPU 配置。AMD GPU 可在 Windows、WSL 與 Linux 上進行 training、RL、chat 與 deployment；GGUF 則支援 GPU layer placement、MoE experts offload、multi-GPU 與 Tensor Parallelism，相關變更見 [PR #6414](https://github.com/unslothai/unsloth/pull/6414)。Vulkan 目前只用於加速 GGUF inference，不會提供 training；training 仍需要受支援的 PyTorch 或 MLX backend。較舊硬體可能支援不佳，使用前應查閱 [compatible GPUs](https://github.com/unslothai/unsloth/pull/5819) 與 [AMD guide](https://unsloth.ai/docs/basics/amd)。 > 桌面端 AI 執行與本地模型管理工具 Unsloth Desktop 介面功能展示 **本機聊天與 Agent 整合** Unsloth Desktop 能把 local LLM 接到 Claude Code、Codex、OpenCode、OpenClaw、Hermes 等 agent 工具。這項功能透過 model swapping 運作：Claude Code 或 Codex 可以保留目前的 model，也可以把 Unsloth model 當作 local subagent。相關文件包括 [Claude Code](https://unsloth.ai/docs/basics/claude-code)、[Codex](https://unsloth.ai/docs/basics/codex)、[MCP](https://unsloth.ai/docs/basics/mcp) 與 [Unsloth Start](https://unsloth.ai/docs/integrations/unsloth-start.md)。 啟動 Unsloth、載入 model、開啟 project folder 後，可以依序執行： ```bash unsloth start claude unsloth start codex unsloth start hermes unsloth start openclaw unsloth start opencode unsloth start claude --as-subagent --model unsloth/model-GGUF:quant ``` `unsloth start` 也能透過 OpenAI-compatible 或 Anthropic-compatible API 連接 agents；MCP endpoint 可管理 models、training、recipes、checkpoints 與 exports，相關變更見 [PR #7191](https://github.com/unslothai/unsloth/pull/7191)。文件列出的相關工具頁面包括 [Claude Code](https://unsloth.ai/pages/w020xJgdCTBtTvfHtvye)、[Codex](https://unsloth.ai/pages/PCjZ57h5pE0QccKyJMYD)、[Hermes Agent](https://unsloth.ai/pages/q1ZbCTKGY7P8eXLeDdEN)、[OpenClaw](https://unsloth.ai/pages/CwQEpEmkKPmyEYdnEngt)、[Unsloth API](https://unsloth.ai/pages/7sCtc6YWnJBYthTjQsr7) 與 [OpenCode](https://unsloth.ai/pages/qaA8ZjTxsH2GTuBOHyra)，其素材連結則分別是 [Claude Code 素材](https://unsloth.ai/files/SQea9SE3lYsQ81yTgdHa)、[Codex 素材](https://unsloth.ai/files/lc9muACUvI9NGz5e4i31)、[Hermes Agent 素材](https://unsloth.ai/files/JWfTGA1IyyNYAoRZgDH8)、[OpenClaw 素材](https://unsloth.ai/files/DB1O5gm73B7wigNpR3hn)、[Unsloth API 素材](https://unsloth.ai/files/kw2LlDbFk91VBhcoAc2g) 與 [OpenCode 素材](https://unsloth.ai/files/1CeptjdIcQaih70dC3iD)。 ![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/184ca9db3b04451b.avif) > 圓形的綠色貼紙圖示，中央帶有白底黑線的樹懶圖案，右下角有一處微微掀起的銀色邊角。 **工具呼叫與程式碼執行** Unsloth Desktop 提供 self-healing tool calls，會偵測失敗、嘗試修復並重新執行；Bash 與 Python 則在 secure sandbox 中執行，讓 model 能執行程式碼、檢查結果並完成實際任務。官方稱 tool-calling accuracy 最多提升 50%，但同時承認 web search、code execution 與 tool-call healing 會增加推論時間；關閉這些功能後，速度應接近其他 llama.cpp app，若仍然緩慢，官方建議提交 GitHub issue。 它也整合 private、unlimited web search、deep research、RAG、MCP、image/video generation 與 TTS。音訊能力可完全在本機進行 generate、fine-tune 或 transcribe，涵蓋 text-to-speech、speech-to-text、Whisper 與 Qwen3-ASR；影像與影片則支援 MiniMax-H3、FLUX、Z-Image、Wan、LTX 及 fine-tuned LoRA adapters，並能進行 transform、inpaint、extend、upscale、reference 與既有影像編輯。相關文件為 [audio fine-tuning](https://unsloth.ai/docs/basics/text-to-speech-tts-fine-tuning.md)、[image fine-tuning](https://unsloth.ai/docs/basics/vision-fine-tuning.md) 與 [advanced web search](https://unsloth.ai/docs/new/studio/chat.md#advanced-web-search)。 ![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/2d3fd5c7ac8ca946.png) > Unsloth 的介面視窗，左側欄顯示導覽選單與近期對話紀錄，中央顯示 Muse-Glimmer-30B-GGUF 模型與 token 使用量，下方對話輸入框已展開功能選單，包含 Web search、Code、Deep research 與 MCP 等選項。 **訓練與匯出** Unsloth Studio 的 web UI 與 Unsloth Core code-based 介面，和 Desktop 共同構成三種使用方式。使用者可以直接提供 PDF、CSV、JSON 或 DOCX 建立 datasets，執行 LoRA、QLoRA、full fine tuning、pretraining、reinforcement learning、GRPO、DPO 與 FP8 訓練，也能為 SDXL、FLUX.2、Qwen-Image、Z-Image 訓練 LoRA adapters。 官方列出的效能宣稱包括： - 一般 fine-tuning 速度成長為兩倍，VRAM 使用量減少 70%。 - MoE LLM training 速度成長為 12 倍，VRAM 使用量減少 35%，涵蓋 DeepSeek、GLM、Qwen 與 gpt-oss。 - Embedding fine-tuning 速度成長為 1.8–3.3 倍。 - 新 batching algorithms 讓 context RL 可使用比其他 setups 長 7 倍的 context。 - 新 RoPE、MLP Triton Kernels，以及 Padding Free + Packing，宣稱 training 速度成長為 3 倍、VRAM 使用量減少 30%。 - 20B model 可在 80GB GPU 上以超過 500K context 訓練。 - Consumer GPUs 可進行 FP8 與 VLM GRPO。 - Google DiffusionGemma 在 Unsloth Studio 中宣稱 inference 速度成長為 1.8 倍；Qwen3.6 透過 MTP 達到 1.4–2.2 倍 inference 速度，並支援相容 GPU 的 NVFP4 quants。 模型可以匯出為 GGUF、NVFP4 與 FP8 等格式，並透過 [export 文件](https://unsloth.ai/docs/new/studio/export)、[GGUF 文件](https://unsloth.ai/docs/basics/inference-and-deployment/saving-to-gguf)、[OpenAI compatible API](https://unsloth.ai/docs/basics/api) 與 [cloud providers 連線](https://unsloth.ai/docs/integrations/connections) 部署。Unsloth 也支援 OpenAI、Anthropic、Ollama、llama.cpp 與 vLLM 等 Cloud Models，local 與 cloud models 共用同一個 chat interface，並支援 tool-calling、image generation 與 prompt caching。 ![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/256df3a35c778b11.webp) > 影片生成介面截圖，左側為播放中的獅子甩水影片預覽與播放控制列，右側為參數設定面板，包含影片生成 prompt 輸入框、解析度設為 1344 × 768、時長設為 5.2 秒與 124 張畫格，以及步數調整滑桿。 **部署與網路安全** 本機服務預設只綁定 `127.0.0.1`。若需要在 LAN 或 cloud 存取，可使用 `-H 0.0.0.0`；若要透過 Cloudflare 建立 HTTPS 連結，則可使用 `--secure` 或 `--cloudflare`。官方建議優先採用 `--secure`，因為它維持 localhost raw port 私有，tunnel 啟動失敗時會 fail closed；`-H 0.0.0.0` 則會把 raw port 暴露到所有 network interfaces，只適合 trusted network。 ```bash export UNSLOTH_FORCE_VULKAN=1 curl -fsSL https://unsloth.ai/install.sh | sh unsloth studio -p 8888 unsloth studio -p 8888 -H 0.0.0.0 unsloth studio --secure unsloth studio --secure -p 8888 unsloth studio -H 0.0.0.0 -p 8888 unsloth studio -H 0.0.0.0 --cloudflare ``` ```powershell $env:UNSLOTH_FORCE_VULKAN=1 irm https://unsloth.ai/install.ps1 | iex ``` `--cloudflare` 必須搭配 wildcard bind 才會發布 `https://*.trycloudflare.com`；wildcard bind 會向 ifconfig.me 查詢 public IP，再向 check-host.net 檢查連接埠可達性。若不希望發出這些 third-party 查詢，可設定 `UNSLOTH_STUDIO_DISABLE_PUBLIC_CHECK=1`。官方提醒，任何持有連結與 API key 的人都可能使用服務並在該 machine 執行程式碼；對外暴露時必須保密 API key，並考慮使用 `--disable-tools`。 初始密碼可透過環境變數或 stdin 傳入，避免明文參數出現在 `ps` 或 shell history： ```bash unsloth studio --secure --password 'your-strong-password' UNSLOTH_STUDIO_PASSWORD='your-strong-password' unsloth studio --secure printf '%s\n' 'your-strong-password' | unsloth studio --secure --password - ``` 首次用 `--secure` 或 `--cloudflare` 發布 public URL，若仍使用自動產生的 admin password，必須在 terminal 設定新密碼；沒有 attached terminal 且未在 web UI 修改時，預設 `UNSLOTH_STUDIO_BOOTSTRAP_TIMEOUT` 為 1 hour，逾時後會 shutdown。已有 password 時，再次使用 `--password` 會產生 hard error，可用 `unsloth studio reset-password` rotate。 ![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/5900447747ee2af1.webp) > Claude Code 終端機介面畫面，顯示歡迎返回訊息、版本號 v2.1.226、模型路徑與 API 使用計費資訊，右側欄位列出新手提示與更新資訊，下方正在執行計算兩數的指令與處理狀態。 **安裝方式與高風險提醒** Desktop `v0.1.70-beta` 提供 Windows、macOS、Linux `.deb`、Linux AppImage 與 Linux Arm64 版本：[Windows 下載](https://github.com/unslothai/unsloth/releases/download/v0.1.70-beta/Unsloth-Desktop-0_1_70_beta-Windows.exe)、[macOS 下載](https://github.com/unslothai/unsloth/releases/download/v0.1.70-beta/Unsloth-Desktop-0_1_70_beta-MacOS.dmg)、[Linux deb](https://github.com/unslothai/unsloth/releases/download/v0.1.70-beta/Unsloth-Desktop-0_1_70_beta-Ubuntu.deb)、[Linux deb 另一檔名](https://github.com/unslothai/unsloth/releases/download/v0.1.70-beta/Unsloth-Desktop-0_1_70_beta-Linux.deb)、[AppImage](https://github.com/unslothai/unsloth/releases/download/v0.1.70-beta/Unsloth-Desktop-0_1_70_beta-Linux.AppImage)、[Arm64](https://github.com/unslothai/unsloth/releases/download/v0.1.70-beta/Unsloth-Desktop-0_1_70_beta-ARM64.app.tar.gz)。也可從 [Unsloth download](https://unsloth.ai/download) 或 [GitHub Releases](https://github.com/unslothai/unsloth/releases) 取得檔案。 來源列出的快速安裝方式如下，但因為包含 `curl | sh`、PowerShell `iex`，屬於會從網路下載並直接執行內容的高風險來源指令，必須先人工檢查腳本、版本、權限與網路目的地，不應視為可安心直接執行： ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` ```powershell irm https://unsloth.ai/install.ps1 | iex ``` 若使用 Unsloth Core，Linux／macOS 可依序執行： ```bash curl -LsSf https://astral.sh/uv/install.sh | sh uv venv unsloth_env --python 3.13 source unsloth_env/bin/activate uv pip install unsloth --torch-backend=auto ``` Windows PowerShell 流程為： ```powershell winget install -e --id Python.Python.3.13 winget install --id=astral-sh.uv -e uv venv unsloth_env --python 3.13 .\unsloth_env\Scripts\activate uv pip install unsloth --torch-backend=auto ``` 這些指令會安裝 Python、uv 與套件，同樣應先人工核對來源與執行環境。RTX 50x、B200 與 6000 可使用 `--torch-backend=auto`；Windows Core 需要 Python 3.13 與 uv，Windows 的 `pip install unsloth` 只有在 PyTorch 已安裝時才有效。若要調整安裝行為，來源另列出： ```bash curl -fsSL https://unsloth.ai/install.sh | UNSLOTH_NO_TORCH=1 sh curl -fsSL https://unsloth.ai/install.sh | UNSLOTH_SKIP_AUTOSTART=1 sh curl -fsSL https://unsloth.ai/install.sh | UNSLOTH_PYTHON=3.12 sh curl -fsSL https://unsloth.ai/install.sh | UNSLOTH_STUDIO_HOME=/abs/path sh curl -fsSL https://unsloth.ai/install.sh | UV_SYSTEM_CERTS=0 sh UNSLOTH_NPM_REGISTRY=https://artifactory.example.com/api/npm/npm/ ./install.sh --local UNSLOTH_CPU_THREADS=8 unsloth studio -p 8888 ``` ```powershell $env:UNSLOTH_NO_TORCH=1; irm https://unsloth.ai/install.ps1 | iex $env:UNSLOTH_SKIP_AUTOSTART=1; irm https://unsloth.ai/install.ps1 | iex $env:UNSLOTH_PYTHON='3.12'; irm https://unsloth.ai/install.ps1 | iex $env:UNSLOTH_STUDIO_HOME='C:\path'; irm https://unsloth.ai/install.ps1 | iex $env:UNSLOTH_NPM_REGISTRY='https://artifactory.example.com/api/npm/npm/'; .\install.ps1 --local ``` nightly 或 experimental 版本可從 source 建置： ```bash git clone https://github.com/unslothai/unsloth cd unsloth ./install.sh --local unsloth studio -p 8888 UNSLOTH_STUDIO_HOME="$PWD/.studio" ./install.sh --local UNSLOTH_STUDIO_HOME="$PWD/.studio" unsloth studio -p 8888 cd unsloth && git pull ./install.sh --local unsloth studio -p 8888 ``` ```powershell git clone https://github.com/unslothai/unsloth.git cd unsloth Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass .\install.ps1 --local unsloth studio -p 8888 $env:UNSLOTH_STUDIO_HOME="$PWD\.studio"; .\install.ps1 --local $env:UNSLOTH_STUDIO_HOME="$PWD\.studio"; unsloth studio -p 8888 cd unsloth; git pull .\install.ps1 --local unsloth studio -p 8888 ``` 其中 `Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass` 會降低目前 PowerShell 工作階段的執行限制，執行前需要人工確認腳本內容與信任範圍。 **移除、隱私與授權** 完整移除可使用來源提供的 uninstall script；這些同樣是從網路抓取後直接執行的高風險來源指令，必須人工核對後再使用： ```bash curl -fsSL https://raw.githubusercontent.com/unslothai/unsloth/main/scripts/uninstall.sh | sh rm -rf ~/.unsloth/studio ``` ```powershell irm https://raw.githubusercontent.com/unslothai/unsloth/main/scripts/uninstall.ps1 | iex Remove-Item -Recurse -Force "$HOME\.unsloth\studio" ``` 完整移除流程會停止 servers、移除 install directory、launcher data directory、桌面捷徑與平台項目；Windows 另會移除 Start Menu、`HKCU\Software\Unsloth` registry key 與使用者 `PATH`。`rm -rf` 和 `Remove-Item -Recurse -Force` 會刪除資料，必須先確認路徑；model cache `~/.cache/huggingface` 不會被觸碰。MacOS、Linux、WSL 預設 cache 是 `~/.cache/huggingface/hub/`，Windows 是 `%USERPROFILE%\.cache\huggingface\hub\`。詳細說明見 [uninstall 文件](https://unsloth.ai/docs/new/studio/install#uninstall)。 Unsloth Desktop 宣稱不收集 telemetry，只偵測 GPU 類型與裝置來判斷功能是否可用，並可完全離線執行。它採 Apache 2.0／AGPL-3.0 dual licensing：core package 為 Apache 2.0，部分 Unsloth Studio UI components 為 AGPL-3.0，詳見 [Apache 授權](https://github.com/unslothai/unsloth?tab=Apache-2.0-1-ov-file) 與 [AGPL 授權](https://github.com/unslothai/unsloth?tab=AGPL-3.0-2-ov-file)。 **生態系與限制** Unsloth 的本機策略依賴 llama.cpp、Hugging Face transformers／TRL、PyTorch、Torch AO、NVIDIA NeMo DataDesigner、stablediffusion.cpp 與其他 open model labs 的 infrastructure；團隊也特別感謝 NVIDIA、Hugging Face、early beta testers、contributors、users，以及提供靈感的 Jan。官方社群入口包括 [Discord](https://discord.gg/unsloth)、[Discord 新連結](https://discord.com/invite/unsloth)、[Reddit](https://reddit.com/r/unsloth)、[X](https://x.com/UnslothAI)、[X 舊連結](https://twitter.com/unslothai)、[Blog](https://unsloth.ai/blog)、[Documentation](https://unsloth.ai/docs)、[Unsloth Catalog](https://unsloth.ai/docs/get-started/unsloth-model-catalog) 與 [免費 Studio notebook](https://colab.research.google.com/github/unslothai/unsloth/blob/main/studio/Unsloth_Studio_Colab.ipynb)。 文件也提供 GitBook 動態查詢：若頁面沒有直接答案，可對文件 URL 發送 GET，並以 `ask` 提出具體問題、以 `goal` 描述最終目標： ```http GET https://unsloth.ai/docs/desktop.md?ask=&goal= ``` 整體而言，UnslothAI 分享的不是單一模型，而是一套把本機 inference、訓練、Agent 工具、資料處理與遠端服務整合起來的桌面工作環境；它的主要吸引力在於隱私、硬體彈性與降低模型訓練門檻，但 Beta 狀態、硬體相容性、對外暴露服務的安全風險，以及各項效能數字仍值得使用者逐項驗證。 ## 媒體內容 **桌面端 AI 執行與本地模型管理工具 Unsloth Desktop 介面功能展示** **影片中的 Prompt 與操作** Prompt（00:01）： ``` 202年票房最高的電影是什麼 ``` 原文：What's the highest grossing film of 202 Prompt（00:06）： ``` 一隻獅子在慢動作中甩掉身上的雨水，帶著金色光芒 ``` 原文：a lion shaking off rain in slow motion, golden light Prompt（00:30）： ``` 製作一個用於計算兩個數字的簡單 function ``` 原文：Make a quick function for calculating 2 numbers 操作步驟： 1. （00:01）於對話框輸入問題並執行搜尋 2. （00:06）於 Create videos 頁面輸入 prompt 並開始生成影片 3. （00:13）點擊程式碼區域執行指令 4. （00:26）於 Coding agent 下拉選單切換至 Claude Code 並選定模型 5. （00:30）於終端機介面輸入 agent 指令建立 Python 函數 6. （00:39）於 Train 頁面設定 Model 與 Dataset 並點擊 Start training 執行微調 ## 標籤 新產品, 開源專案, 硬體, macOS, Windows, Linux, UnslothAI, GitHub