# Pipecat／Daily 發布 PhoneLLM Alpha 1：30B 總參數、3.5B 啟用，瞄準低延遲語音 Agent

> 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt)

> 原作者：kwindla (@kwindla) · 策展與摘要：EasyVibeCoding · 平台：X (Twitter) · 熱度：🔥🔥 · 日期：2026-08-28

> 原始來源：https://x.com/kwindla/status/2093014818647339026

## 證據與延伸閱讀

- [Pipecat／Daily 發布 PhoneLLM Alpha 1：30B 總參數、3.5B 啟用，瞄準低延遲語音 Agent。](https://x.com/kwindla/status/2093014820824244392) — 一手來源 · 最後核對：2026-08-28 · 支持主張：Adds PhoneBench evaluation, a tool-calling focus with thinking disabled, BSD licensing, self-hosted or Modal deployment, and vendor-reported latency, concurrency, and cost measurements.
- [Pipecat PhoneLLM Alpha 1 — @kwindla](https://x.com/kwindla/status/2093014822145372491) — 一手來源 · 最後核對：2026-08-28 · 支持主張：Adds PhoneBench evaluation, a tool-calling focus with thinking disabled, BSD licensing, self-hosted or Modal deployment, and vendor-reported latency, concurrency, and cost measurements.
- [Pipecat PhoneLLM Alpha 1 — @kwindla](https://x.com/kwindla/status/2093014824687136887) — 一手來源 · 最後核對：2026-08-28 · 支持主張：Adds PhoneBench evaluation, a tool-calling focus with thinking disabled, BSD licensing, self-hosted or Modal deployment, and vendor-reported latency, concurrency, and cost measurements.
- [Pipecat PhoneLLM Alpha 1 — huggingface.co](https://huggingface.co/pipecat-ai/phonellm-alpha-1/raw/main/README.md) — 官方文件 · 最後核對：2026-08-28 · 支持主張：Adds PhoneBench evaluation, a tool-calling focus with thinking disabled, BSD licensing, self-hosted or Modal deployment, and vendor-reported latency, concurrency, and cost measurements.
- [Pipecat PhoneLLM Alpha 1 — daily.co](https://daily.co/blog/announcing-pipecat-phonellm-alpha-1) — 官方文件 · 最後核對：2026-08-28 · 支持主張：Adds a Chinese customer-service use-case perspective, specific PhoneBench percentages, and a summary of the model's MoE architecture, training domains, BSD license, self-hosting, and Modal availability.
- [Pipecat PhoneLLM Alpha 1 — @Michaelzsguo](https://x.com/Michaelzsguo/status/2093104365984755935) — 一手來源 · 最後核對：2026-08-28 · 支持主張：Adds a Chinese customer-service use-case perspective, specific PhoneBench percentages, and a summary of the model's MoE architecture, training domains, BSD license, self-hosting, and Modal availability.
- [huggingface.co/pipecat-ai/phonellm-alpha-1](https://huggingface.co/pipecat-ai/phonellm-alpha-1)
- [PhoneBench v1評測分數](https://video.twimg.com/amplify_video/2093013293560709120/vid/avc1/1280x720/d0RJRniRpAnJPS4I.mp4?tag=29)

## 中文摘要

Pipecat／Daily 發布 PhoneLLM Alpha 1：30B 總參數、3.5B 啟用，瞄準低延遲語音 Agent。

**發布定位** PhoneLLM Alpha 1 是 NVIDIA Nemotron 3 Nano 30B-A3B 的全參數微調版本，由 Daily／Pipecat 團隊使用 NVIDIA NeMo 訓練，針對真實電話與客服情境調整。模型預計搭配 Pipecat，以及語音轉文字（STT）和文字轉語音（TTS）模型，處理金融、醫療、零售、旅宿等產業的來電客服，也支援常見的外撥 Agent 任務。

官方認為，近年的 前沿模型 多依賴開啟 thinking 來提升表現，但這會拉長使用者提問到 Agent 回應之間的等待時間，不適合即時語音對話。PhoneLLM 的訓練重點，是讓模型在 thinking disabled 的狀態下，仍能在長時間、多輪對話中準確呼叫正確工具，並給出簡潔、切題的回答，避免出現「已經幫你訂好了」但實際上沒有執行操作的 say/do 不一致問題。

**模型與部署** PhoneLLM 採用 Hybrid Mamba-Transformer mixture-of-experts 架構，總參數量為 30B，但每次推論約啟用 3.5B 參數，以降低推論延遲和成本。模型 脈絡長度 為 262,144 tokens，提供 bfloat16 safetensors，支援 English；建議設定如下：

- `temperature=0`
- 關閉 thinking：`chat_template_kwargs: {"enable_thinking": false}`
- 可使用 vLLM 或 SGLang，並採用 Nemotron 3 Nano 的相關設定
- 需要設定 `trust_remote_code=True`
- 權重可從 [Hugging Face 的 PhoneLLM Alpha 1](https://huggingface.co/pipecat-ai/phonellm-alpha-1) 取得，也能在可執行 30B 開放權重模型的自有基礎設施上部署

PhoneLLM 也能透過 Modal AutoEndpoints 部署。官方表示，Modal 團隊依據 Pipecat 提供的代表性工作負載替推論最佳化；相較於 vLLM cookbook 的通用設定，在目標為 P95 TTFAT 低於 600ms 的條件下，最大 Agent concurrency 約成長為兩倍。使用 Modal CLI 的部署指令為：

```bash
modal endpoint create --model pipecat-ai/phonellm-alpha-1
```

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/7e1c61a137f0b143.jpg)
> Modal Docs 網站的 Endpoints 指南頁面，顯示使用單一指令部署 LLM 推論 endpoint 的說明與 Qwen/Qwen3.5-4B 範例程式碼。

**PhoneBench 評測** 此次同步推出 PhoneBench v1，專門評估 LLM 是否適合電話客服 Agent。它不只看回答正確率，也把語音客服的實際限制納入評測，包括延遲與每分鐘執行成本。PhoneBench 會使用一組 LLM 評審，比對模型行動與高品質參考樣本；這些 judges 以人工標註校準，因此可評估通常需要人工判斷的細節：

- 電話對話的說話風格
- 工具呼叫準確度
- say/do consistency，也就是說出口的內容是否與實際執行一致
- 事實根據、對話連貫性與回應是否切題
- 身分驗證與升級處理是否遵守規則
- 來電者的最終結果

評測中的情境、工具清單與 system prompt，與 PhoneLLM 的訓練資料分開，以檢查模型能否泛化到未看過的情境、商業用途、工具清單與 prompt。Michael Guo 分享的結果顯示，PhoneLLM 在 PhoneBench 上為 72.3%，GPT-5.6 Terra 為 72.4%，兩者接近持平。不過，這組百分比是來源中的報告摘要，並非本資料提供的獨立重測結果；來源也未交代完整測試任務、樣本數或信賴區間，因此仍應以代表性客服通話自行驗證。 

![](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/eed711566ddd04f7.jpg)
> PhoneLLM Alpha 1 在 PhoneBench v1 取得 72.3% 的分數（接近 GPT-5.6 Terra 的 72.4%），同時延遲與成本大幅低於後者。

**延遲與成本** Pipecat 團隊將語音到語音的整體延遲目標設定在約 1,500ms，這個數字包含網路、音訊處理、應用程式邏輯，以及 STT、LLM、TTS 推論。官方指出，GPT-5.6 Terra fast mode 的 P95 time-to-first-token 約為 1,900ms，單是 LLM 就已超過這項語音對話延遲目標；因此 PhoneLLM 的設計取捨，是放棄 thinking 帶來的額外推理時間，優先滿足即時互動。

官方報告的測量不是單一請求，而是使用真實 Pipecat 語音 Agent pipeline，執行端到端、批次化的請求模擬：

- 在負載較低的 NVIDIA B200 上，伺服器端單次 TTFT P95 可低於 100ms
- 在單張 B200 上可服務超過 80 個 concurrent agents，包含網路開銷時，端到端 P95 TTFAT 可低於 600ms
- 官方估算 LLM 成本約為每分鐘 $0.0025，即四分之一美分
- 相較 GPT-5.6 Terra，官方稱典型語音 Agent 任務可達到約三分之一的延遲，以及約 1/18 的成本；PhoneBench 摘要則稱成本便宜 94%、P95 time-to-first-token 快 1,300ms

官方成本模型以 Modal 的 NVIDIA B200 為例：基礎價格為每小時 $6.2496，加入 region pinning 的 1.5× 乘數後為 $9.3744／小時，再以 70% utilization 計算，有效成本為每小時 $13.392、每分鐘 $0.2232。基於每個 B200 44 個程序、每個 B200 node 固定 88 個 Agent 程序，官方文章把 $0.2232 除以 88 寫成每分鐘每個 Agent $0.00025，但按原式計算約為 $0.00254，與公告另列的 $0.0025 接近；採用前應自行重算。這些數字均為供應商報告，實際結果會受到硬體、工作負載、batching 與使用率影響，不能直接視為所有部署環境都能達到的保證。 

**專用小模型的取捨** Pipecat 團隊將 PhoneLLM 視為一個更廣泛趨勢的例子：與其讓通用大型模型在每個任務上都保持最高能力，不如以較小的開放權重模型依明確的對話目標與工具定義微調。這類模型有機會在特定用途上同時改善正確率、推論速度、成本與資料隱私；自建部署也讓團隊能針對語音 Agent 調整 推論架構，在成本與延遲之間選擇更適合的平衡點。

Daily 表示，其訓練工具始於 2024 年，涵蓋生產 Agent trace 的整理與管理、合成資料生成、評測環境建立、multi-turn 模型的 RL 環境，以及工具存取。PhoneLLM 目前定位為可處理多種客服任務的相對通用模型，但團隊也能依個別企業情境訓練專用模型；由於單次訓練成本已足夠低，每月甚至更頻繁更新模型權重，逐漸成為可行策略。團隊預期，未來生產 Agent 會透過針對性評測與生產監測形成回饋迴圈，持續改善表現與成本曲線。 

<video src="https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/1787897701998-j968cabo.mp4" poster="https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/a5555f53d4c2cef5.jpg" controls playsinline preload="metadata" style="max-width:100%;height:auto;display:block;margin:1rem 0"></video>
> PhoneLLM Alpha 1 影片依序說明模型定位、PhoneBench 評測與部署方式；排行榜數字會隨解說階段更新。

**實際觀察與授權** Michael Guo 以近期修車、修電腦的電話經驗說明這類應用：他仍能從開場辨認對方是 AI，但語氣、節奏與追問細節很順，多輪對話後幾乎不像機器。這是個人客服觀察，來源沒有提供任務定義、樣本數或評測方法，不能與 PhoneBench 結果混為正式證據；它所反映的是客服電話同時要求快速、自然且真的完成操作，正是 PhoneLLM 鎖定的產品場景。

PhoneLLM Alpha 1 以 BSD 2-Clause License 發布，官方稱沒有商業限制，可自建或部署到 Modal。不過它是 NVIDIA Nemotron 3 Nano 30B-A3B 的衍生作品；若再散布模型或衍生作品，仍須附上 NVIDIA Nemotron Open Model License，並保留 NVIDIA 的著作權與 attribution notices。BSD 條款適用於 Pipecat 的修改與整體模型，但底層 Nemotron 工作仍受 NVIDIA 授權條款約束，採用前仍需人工核對完整授權內容。

## 媒體內容

**PhoneLLM Alpha 1 影片依序說明模型定位、PhoneBench 評測與部署方式；排行榜數字會隨解說階段更新。**

**逐字稿**

- `00:00` 嘿，PhoneBot。（Hey, PhoneBot.）
- `00:01` 嘿，John。（Hey, John.）
- `00:02` 你在想什麼？（What's on your mind?）
- `00:03` 如果針對語音 Agent，特別微調 OpenWeight 的模型，會發生什麼事？（What happens when you fine-tune an OpenWeight's model specifically for voice agents?）
- `00:09` 喔，問得好。（Oh, great question.）
- `00:10` 我示範給你看。（Let me show you.）
- `00:16` 這是 Pipecat 的新模型 PhoneLLM，（This is Pipecat's new model, PhoneLLM,）
- `00:18` 而在實際攸關生產環境語音 Agent 的幾項指標中，（and across the things that actually matter for）
- `00:21` 包括它呼叫工具的可靠程度、（production voice agents, that's how reliably it can call tools,）
- `00:26` 回應速度，還有（how fast it responds, and）
- `00:28` 執行成本。（how much it costs to run.）
- `00:30` 嗯，它的表現勝過目前大多數用於生產環境語音 Agent 的模型，（Well, it outperforms most of the models used for production voice agents today,）
- `00:35` 而且它（and it）
- `00:35` 具備適合語音互動的延遲，執行成本也只有它們的一小部分。（does so at voice-friendly latency and at a fraction of the cost.）
- `00:39` 好，好，等一下。（Okay, okay, hold up.）
- `00:40` 這可是個相當大的宣稱。（This is a pretty big claim.）
- `00:42` 所以我們是怎麼做到的？（So how did we get here?）
- `00:47` Pipecat 是目前最廣泛用於建構語音 Agent 的框架。（Pipecat is the most widely used framework for building voice agents.）
- `00:51` 因此，作為 Pipecat 背後的團隊，我們會和各式各樣的企業、（So as the team behind Pipecat, we work with a wide variety of enterprises,）
- `00:56` 新創公司，以及（startups, and）
- `00:57` 建構 Agent 的研究實驗室合作。（research labs building agents.）
- `00:59` 我們也和所有訓練大型語言模型及語音模型的團隊合作。（And we work with all the teams training LLMs and speech models.）
- `01:04` 目前大多數生產環境語音 Agent 都使用大型通用型大型語言模型。（Most production voice agents today use large general-purpose LLMs.）
- `01:08` 這些大型語言模型很棒。（These LLMs are great.）
- `01:09` 它們很能遵循指令，也能準確地呼叫工具。（They follow instructions well, and they call tools accurately.）
- `01:14` 但在過去幾年，隨著模型規模不斷變大，嗯，（But over the last few years, as the models have grown in size, well,）
- `01:18` 它們變得越來越慢，（they've gotten slower）
- `01:19` 也越來越慢。（and slower.）
- `01:21` 對於訓練通用型模型的團隊來說，（For teams training general-purpose models,）
- `01:23` 重點已經轉向推理能力。（the emphasis has shifted towards reasoning.）
- `01:26` 當你想到像程式撰寫和研究這類使用情境時，這很合理，（And that makes sense when you think about the use cases like coding and research,）
- `01:31` 因為在這些情況下，（where）
- `01:31` 你很樂意多花一點時間，換來更好的答案。（you're happy to trade a little bit of time for a better answer.）
- `01:35` 但對語音 Agent 來說，回合之間的延遲就是一切，對吧，（But for voice agents, where latency between turns is everything, yeah,）
- `01:39` 這就有點（that's a bit of a）
- `01:41` 麻煩了。（problem.）
- `01:43` 因此，許多企業至今仍在語音 Agent 上使用較舊、（Because of this, a lot of enterprises are still using older,）
- `01:47` 但速度更快的模型，例如 GPT 4.1，（faster models like GPT 4.1）
- `01:49` 因為它是這些額外思考成為預設之前的上一代模型。（for voice agents.）
- `01:50` 因為那是這些額外思考成為預設之前的上一代模型。（Because that was the last generation before all this extra thinking became the default.）
- `01:56` 即使是現在最新、最先進的小型模型，（Even the newest, state-of-the-art small models today,）
- `01:59` 那些原本就是為了速度而設計的模型，嗯，（which are designed to be fast, well,）
- `02:01` 在產生答案 token 之前，還是想先思考很多。（they want to think a lot before they produce answer tokens.）
- `02:04` 所以這造成了一個令人頭痛的落差。（So this is a painful gap.）
- `02:06` 語音需要準確度。（Voice needs accuracy.）
- `02:07` 但要把推理關掉，嗯。（But with the reasoning, well, turned off.）
- `02:12` 過去兩年來，我們一直透過 Pipecat 建構語音基礎架構，（Over the last two years, we've been building voice infrastructure with Pipecat,）
- `02:16` 並且（working）
- `02:17` 和幾乎所有你能想像到的使用情境中的生產環境 Agent 合作。（with production agents across just about every use case you can imagine.）
- `02:21` 而且這項工作越來越深入到模型層。（And increasingly, that work goes all the way down to the model layer.）
- `02:24` 我們一直在建置和訓練管線及工具，讓企業能夠取得開放權重（We've been building out and training pipelines and tooling that let enterprises take open-weight）
- `02:30` 模型，根據自己的使用情境和資料進行調整，（models, adapt them to their own use cases and data,）
- `02:33` 並將這些客製化模型部署到（and run these customized models in）
- `02:35` 正式環境中。（production.）
- `02:35` 其中很重要的一部分，是確認模型是否真的變得更好。（A big part of that is knowing whether the model is actually getting better.）
- `02:40` 因此，除了訓練管線之外，（So alongside that training pipeline,）
- `02:42` 我們也建置了評估和基準測試基礎架構，（we've built the evals and benchmarking infrastructure,）
- `02:45` 來完成這件事。（too.）
- `02:46` 這樣我們就能衡量對語音真正重要的項目。（So we can measure the things that actually matter for voice.）
- `02:49` 結果是，我們既能針對個別資料集訓練客製化模型，也能訓練一般用途模型，（The result is that we can both train custom models on individual datasets and train general）
- `02:55` 鎖定特定類型的使用情境，例如，（purpose models targeted at classes of use cases, for example,）
- `02:59` 電話客服（telephone customer support）
- `03:00` 情境。（scenarios.）
- `03:01` PhoneLLM 是我們即將公開發布的一系列模型中的第一個。（Phone LLM is the first in a series of models that we're releasing publicly.）
- `03:06` 這些模型快速又強大，專為語音 Agent 設計。（Fast, capable models designed specifically for voice agents.）
- `03:09` 目前，背後正進行許多與評估、（Now, there's a lot of work going on behind this around evals,）
- `03:14` 資料和客製化模型訓練相關的工作。（data and custom model training.）
- `03:16` 我們很快就會分享更多相關資訊。（And we'll be sharing a lot more about that very soon.）
- `03:19` 但目前，PhoneLLM 已經在 Hugging Face 上提供，（But for now, Phone LLM is available on Hugging Face,）
- `03:22` 你可以親自試用看看。（so you can give it a try yourself.）
- `03:24` 下次見。（See you next time.）
- `03:24` ！（!）
- `03:25` 下次見。（See you next time.）
- `03:25` 先掰掰！（Bye for now!）
- `03:25` 先掰掰！（Bye for now!）
- `03:26` 先掰掰！（Bye for now!）

## 標籤

新產品, Agent, Voice, STT, TTS, NVIDIA, Pipecat, PhoneLLM