# 策展 · X (Twitter) 🔥🔥🔥🔥

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 作者：Unsloth AI (@UnslothAI) · 平台：X (Twitter) · 日期：2026-07-08

> 原始來源：https://x.com/UnslothAI/status/2074509042341576977

## 中文摘要

Unsloth AI 釋出 DeepSeek-V4-Flash 的 GGUF 量化版，可用 llama.cpp 在本地執行。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/42a7f2c48f770b82.jpg)
> Unsloth 推出可在本地執行的 DeepSeek-V4-Flash GGUF 量化版本，其中 UD-Q8_K_XL 實現了無損推理，且相較於 Q4 僅多出 7GB 磁碟空間，提供極佳的品質與大小權衡。

**本地執行與效能優化**
Unsloth AI 針對 DeepSeek-V4 在地端執行做了關鍵修復與優化，解決了先前在 `llama.cpp` 中出現的多輪對話亂碼問題。
- 透過修復 `llama.cpp` 的 PR `#25402`，解決了因錯誤的 prompt 快取導致的對話異常。
- 提供了無損（lossless）的 `UD-Q8_K_XL` 量化版本（162GB），以及適合 110GB 記憶體裝置的 3-bit 量化版本。
- 針對 DeepSeek-V4 的 Jinja chat template 做了改進，確保其與官方基準測試結果一致，並完整保留了 `reasoning_content` 以支援 tool calls。

**操作與部署指引**
使用者可透過 Unsloth Studio 圖形化操作，或用 `llama.cpp` 部署。
1. 若使用 Unsloth Studio，可透過終端機安裝：
   ```bash
   # MacOS, Linux, WSL
   curl -fsSL https://unsloth.ai/install.sh | sh
   # Windows PowerShell
   irm https://unsloth.ai/install.ps1 | iex
   ```
2. 啟動服務：`unsloth studio -H 0.0.0.0 -p 8888`。
3. 若使用 `llama.cpp`，需確保切換至修復分支：
   ```bash
   git clone https://github.com/ggml-org/llama.cpp
   cd llama.cpp
   git fetch origin pull/25402/head:deepseek-v4-checkpointing-fix
   git checkout deepseek-v4-checkpointing-fix
   ```

**技術背景**
DeepSeek-V4 系列包含 1.6T 參數的 Pro 版本與 284B 參數的 Flash 版本，兩者皆支援 1M token context window。Unsloth AI 強調其量化技術透過保留原始 MXFP4 格式的專家層（routed experts），實現了與官方權重幾乎完全一致的推論品質，在 `UD-Q8_K_XL` 版本中達到了 bit-identical 的無損水準。官方建議在執行時設定 `temperature=1.0` 與 `top-p=1.0` 以獲得最佳效能。

## 媒體內容

**Unsloth 推出可在本地執行的 DeepSeek-V4-Flash GGUF 量化版本，其中 UD-Q8_K_XL 實現了無損推理，且相較於 Q4 僅多出 7GB 磁碟空間，提供極佳的品質與大小權衡。**

**數據表（1）硬體需求表格**

| 量化等級 | 記憶體需求 |
| --- | --- |
| 1-bit | 92 GB |
| 2-bit | 102 GB |
| 3-bit | 110-135 GB |
| 4-bit (near Lossless) | 162 GB |
| Q8_K_XL (Lossless) | 169 GB |

**數據表（2）量化品質與模型大小關係圖**

| 項目 | X | Y |
| --- | --- | --- |
| UD-IQ1_S | 78 | 0.4962 |
| UD-IQ1_M | 83 | 0.4363 |
| UD-IQ2_XXS | 88 | 0.3612 |
| UD-IQ2_M | 88 | 0.3612 |
| UD-IQ2_XL | 92 | 0.2992 |
| UD-IQ3_XXS | 99 | 0.2403 |
| UD-IQ3_S | 106 | 0.1842 |
| UD-IQ3_K_M | 117 | 0.1062 |
| UD-IQ3_K_XL | 121 | 0.1062 |
| UD-IQ4_NL | 125 | 0.0747 |
| UD-IQ4_XS | 131 | 0.0747 |
| UD-Q4_K_XL | 141 | 0.0094 |
| bartowski MXFP4 | 142 | 0.0099 |
| antirez Q4Experts-mix | 151 | 0.0285 |
| UD-Q8_K_XL lossless (KLD = 0) | 151 | 0.0 |

## 標籤

功能更新, 開源專案, LLM, Unsloth AI, DeepSeek