# 策展 · X (Twitter) 🔥🔥🔥 > 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt) > 作者：alphaXiv (@askalphaxiv) · 平台：X (Twitter) · 日期：2026-07-14 > 原始來源：https://x.com/askalphaxiv/status/2076737985559822734 ## 中文摘要 GPT-5.6 Sol 透過自動化研究流程，成功重現了關於大型語言模型微調中「記憶知識無法泛化」的關鍵研究發現。 **自動化研究的進展** alphaXiv 團隊近期展示了「autoresearch」技術的最新進展，利用 GPT-5.6 Sol 針對論文「Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in LLM Finetuning」進行實驗重現。相較於 GPT-5.5、乃至 Fable 5，GPT-5.6 在研究過程中展現了更強的自主性： - **專注核心實驗**：模型能更精準地聚焦於關鍵實驗，減少對周邊細節的無效投入。 - **減少溝通成本**：模型大幅降低了「釐清問題」的頻率，轉而自行判斷並解決模糊之處，而非將決策權推回給使用者。 - **應用場景**：該技術特別適用於可解釋性研究、推論引擎、基準測試及 agent harness 等領域，這些實驗通常不需要過度龐大的運算資源，適合由 Agent 自主執行。 **研究重現成果** 此次重現的目標是探討「知識獲取與使用之間的落差」（Knowing–Using Gap）。根據實驗結果，模型在處理 1,000 條合成鏈（synthetic chains）時，原子記憶（atomic recall）在第 4 個 epoch 即達到 100%，但兩跳推理（two-hop use）的準確率在第 31 個 epoch 仍維持在 0%。此外，透過機制性修補（mechanistic patching）分析發現，儘管模型能定位到與答案相關的訊號，但始終無法讓正確答案在機率排序中位居首位，這些結果支持「記憶與兩跳使用之間仍有落差」的核心行為主張，但不支持跨領域或精確恢復數字。 **如何使用 autoresearch** 使用者可透過以下指令在本地環境嘗試使用 GPT-5.6 進行自動化研究： 1. 安裝環境： ```bash curl -LsSf https://openresearch.sh/install.sh | sh ``` 2. 啟動服務： ```bash orx up ``` 詳細的實驗程式碼與報告可參考專案庫 [knowledge-using-gap-codex](https://github.com/alphaXiv/knowledge-using-gap-codex)。 **技術觀察** > 該影片展示了使用某研究平台進行模型行為分析與實驗重現的過程，包含熱力圖分析、實驗管理與結果評估。 根據實驗平台的介面顯示，該系統透過 residual-post 層替換（layer-swap）等技術進行機制性分析，並利用熱力圖（Heatmaps）視覺化模型層間的 log-probability 變化。雖然目前這類自動化研究尚非正式的基準測試，但其展現了 Agent 在處理複雜科學實驗流程（如實驗管理、結果評估與報告撰寫）上的潛力，為研究人員提供了一種更高效的驗證工具。 ## 媒體內容 **該影片展示了使用某研究平台進行模型行為分析與實驗重現的過程，包含熱力圖分析、實驗管理與結果評估。** **影片中的 Prompt 與操作** Prompt（00:00）： ``` - 影片展示了在對話框中輸入關於實驗成本與重現步驟的描述，並在右側面板進行實驗狀態監控。 - @0:09 系統顯示對話框，底部顯示模型選擇為「GPT-5.6 Sol」。 - @0:17 操作者切換實驗列表的「Tree」與「Table」視圖。 - @0:19 顯示關於 `STARK-PRIME` 與 `STARK-MAG` 的數據比較。 ``` 操作步驟： 1. @0:09 在對話框輸入實驗重現相關內容。 2. @0:17 點擊實驗面板的「Table」按鈕切換視圖。 3. @0:19 捲動查看實驗列表與數據。 ## 標籤 Agent, 研究論文, 自動化, LLM, OpenAI, alphaXiv