# Cursor 開源 MoE megakernel Mixture-of-Kittens，自家生產環境端到端訓練吞吐量達先前 DeepEP 堆疊的 1.41 倍

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 原作者：Cursor (@cursor_ai) · 策展與摘要：EasyVibeCoding · 平台：X (Twitter) · 熱度：🔥 · 日期：2026-08-06

> 原始來源：https://x.com/cursor_ai/status/2084670806613737919

## 證據與延伸閱讀

- [Cursor 開源 MoK 提升 NVL72s 訓練吞吐量 1.41 倍](http://cursor.com/blog/mixture-of-kittens) — 官方文件

## 中文摘要

Cursor 開源 MoE megakernel Mixture-of-Kittens，自家生產環境端到端訓練吞吐量達先前 DeepEP 堆疊的 1.41 倍。

**開源與實際部署** Cursor 表示，MoK 已支援 Cursor 的 agentic 程式開發模型 Composer 在數萬張 GPU 上的訓練，並希望透過開源降低 AI 研究團隊高效率訓練模型的門檻。完整技術說明與程式碼可參考 [Mixture-of-Kittens: our open-sourcing MoE megakernel for NVL72s](https://cursor.com/blog/mixture-of-kittens)。

**MoE 瓶頸** Composer 擴大訓練與推論後，MoE layer 在不同工作負載與訓練設定下可能占用超過一半的端到端訓練時間。過去的 MXFP8、NVFP4 training kernels 與 warp decode 主要改善運算部分，但 Cursor 發現生產環境真正受限的是跨 GPU 通訊，因此重新設計整個 MoE layer，把通訊直接放進 kernel。

**針對 NVL72s 設計** GB300 NVL72s 將 72 張 GPU 放在同一個 NVLink domain，能細緻重疊運算與通訊；但整合的 Grace CPU 相較 GPU 較慢，容易讓 GPU 等待 CPU 工作。MoK 因此減少 CPU 工作與 CPU-GPU 同步，並將所有 MoE 通訊和運算融合為單一、完全 deterministic 的 kernel。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/00b454e61185bd87.png)
> MoE forward 運算與通訊重疊機制的 Sequential 與 Overlapped 執行流程圖

**通訊策略** DeepSeek-V3（DSV3）風格的 MoE layer 廣泛用於 GLM、Qwen、Kimi（到 K2.7）與 DeepSeek 自家的開放權重模型。MoK 針對這類結構，採用不同方向處理 dispatch 與 combine，而不是一律使用常見的 push-based 方法：

- forward dispatch：pull-based
- forward combine：push-based
- backward reverse-combine：pull-based
- backward reverse-dispatch：push-based

在 expert imbalance 情況下，pull-based dispatch 的 NVLink 頻寬利用率最高可比 push-based 高 29%；不過當所有 lane 都滿載時，push-based 因傳送位元組較少反而利用率較高，兩者各有適用情境。此外，在多節點微基準中，push-based dispatch 的跨 GPU signalling 延遲約為 103 µs，pull-based dispatch 為 18 µs，前者約是後者的 5.8 倍；改用 pull-based dispatch 也能避免多 GPU 的跨節點同步。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/400c2db8ab8b7d8b.png)
> 交錯排列的黃綠色與粉紅色正弦波形圖案，其中包含實線與虛線的組合。

**效能與取捨** MoK 將每輪傳輸的 token 數量設為可調整的 minibatch size，在過細的通訊與一次傳送大量 token 之間尋找適合不同工作負載的平衡。Cursor 在多個 NVL72 racks 的生產訓練堆疊中，測得每秒端到端 token 數成長為 1.41 倍；MoK 對公開實作的比較結果則最高達 2.37 倍。

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/8aa1f7e28d4dc484.jpg)
> Mixture-of-Kittens 在 GB300 NVL72s 上的 MXFP8 前向吞吐量顯著優於各公開基線，提升最高達 2.37 倍

## 媒體內容

**Mixture-of-Kittens 在 GB300 NVL72s 上的 MXFP8 前向吞吐量顯著優於各公開基線，提升最高達 2.37 倍**

**數據表**

|   | NCCL + PyTorch | DeepEP + PyTorch | DeepEP + TransformerEngine | HybridEP + Megatron | Mixture-of-Kittens |
| --- | --- | --- | --- | --- | --- |
| Kimi K2.7 | 550 | 540 | 350 | 615 | 1240 |
| GLM 5.2 | 490 | 450 | 310 | 540 | 1200 |
| Qwen 3.5-397B-A17B | 180 | 190 | 100 | 210 | 510 |
| DeepSeek V4 Pro | 660 | 640 | 410 | 710 | 1330 |

## 標籤

Cursor, 開源專案, LLM, NVIDIA, Cursor