# 策展 · X (Twitter) 🔥🔥

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 作者：Sapient Intelligence (@Sapient_Int) · 平台：X (Twitter) · 日期：2026-05-19

> 原始來源：https://x.com/Sapient_Int/status/2056510383935172798

## 中文摘要

HRM-Text 推出高效能推理語言模型。

Sapient Intelligence 推出的 HRM-Text 是一套強調極致效率的基礎模型訓練框架，透過「階層式循環架構」（Hierarchical Recurrent Architecture）與精簡的資料需求，成功將預訓練所需的算力與資料量大幅降低。該專案旨在打破大型模型訓練的資源門檻，讓研究人員能以極低的算力成本，探索過去因過於昂貴而難以驗證的 AI 理論。

**核心架構與技術創新**
HRM-Text 採用雙時間尺度的循環架構，將模型分為高階（H，慢速）與低階（L，快速）兩個 Transformer 模組。透過兩者在相同輸入嵌入（embeddings）上的反覆迭代與狀態注入（z_L + z_H），模型能在有限的參數規模下，實現理論上無上限的運算深度。
- 階層式循環：透過 `H_cycles` 與 `L_cycles` 的循環機制，提升模型推理能力。
- 訓練效率：該框架提供完整的預訓練流程，相較於同級模型，其預訓練所需的算力減少了 130 至 600 倍，資料需求量則減少了 150 至 900 倍。
- 基礎設施：整合了 `FlashAttention 3` 核心、`PyTorch FSDP2` 分散式訓練以及 `PrefixLM` 序列打包技術。

**訓練資源與效能表現**
該框架針對 NVIDIA H100 GPU 進行了優化，並提供明確的硬體配置指引：
- L 版本（0.6B 參數）：使用 8 張 H100，約 50 小時訓練時間，預算約 800 美元。
- XL 版本（1B 參數）：使用 16 張 H100，約 46 小時訓練時間，預算約 1,472 美元。
在基準測試中，XL 版本在 GSM8k（84.7%）、MATH（56.5%）及 MMLU（60.7%）等指標上展現了極具競爭力的表現。

**實作與部署指引**
開發者可透過官方提供的 Docker 環境或原始碼安裝來啟動訓練。以下為訓練與評估的關鍵步驟：
1. 資料準備：使用 `data_io` 進行清洗與分層採樣，並將資料存放於共享儲存空間。
   ```bash
   cd <DATA_IO_PATH>
   python sample_tokenized.py epochs=4 output_path=/dev/shm/sampled
   ```
2. 啟動環境：建議使用 Docker 容器以確保環境一致性。
   ```bash
   docker run --gpus all --ipc=host --network=host -it -v "$PWD":/workspace sapientai/hrm-text:latest
   ```
3. 執行預訓練：使用 `torchrun` 進行分散式訓練。
   ```bash
   OMP_NUM_THREADS=1 MKL_NUM_THREADS=1 \
   torchrun --nproc_per_node=8 pretrain.py arch/size@arch=L
   ```
4. 模型評估與轉換：評估時會自動載入最新檢查點，並支援將模型轉換為 Hugging Face 格式。
   ```bash
   python -m conversion.convert_to_hf --ckpt_path "checkpoints/..." --out_dir "<OUTPUT_PATH>"
   ```

**使用限制與注意事項**
Sapient Intelligence 明確指出，HRM-Text 目前僅為「預對齊」（pre-alignment）模型檢查點，並非開箱即用的聊天機器人。
- 適用場景：適合進行分類、結構化輸出、短篇問答等 NLP 任務，建議搭配 2–8 個少樣本（few-shot）範例以獲得最佳效果。
- 推理提示：若需進行推理或數學運算，可使用 `synth,cot` 複合條件前綴來觸發模型的思維鏈（CoT）行為。
- 局限性：該檢查點尚未針對多輪對話、長文本、指令遵循或 RLHF 進行對齊，若需將其作為助理使用，使用者必須自行進行後續的監督微調（SFT）或強化學習（RL）對齊。此外，官方並未提及該模型僅支援英文或無法處理程式碼，僅強調其為預訓練模型。

該專案已於 [GitHub](https://github.com/sapientinc/HRM-Text) 開源，並在 [Hugging Face](https://huggingface.co/sapientinc/HRM-Text-1B) 提供模型檢查點，歡迎社群針對訓練基礎設施、評估工具及模型架構進行貢獻。

## 標籤

LLM, 新產品, 開源專案, Sapient Intelligence, HRM-Text