# AI 解決了我們遺留下來的 25 年難題 > 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt) > 原作者：Dimitris Papailiopoulos (@DimitrisPapail) · 策展與摘要：EasyVibeCoding · 平台：X (Twitter) · 熱度：🔥🔥 · 日期：2026-08-11 > 原始來源：https://x.com/dimitrispapail/status/2086158118354887060 ## 證據與延伸閱讀 - [AI 解決了我們遺留下來的 25 年難題](https://x.com/dimitrispapail/status/2086158118354887060) - [2009年與Alex Dimakis合作完成第一篇論文](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/234199c2c6156c30.jpg) - [Claude Fable建議演算法為signed LMMSE加greedy bit flips](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/a423743f59815595.jpg) - [Polynomial-Time MIMO Detection at the Maximum-Likelihood Threshold 完整論文](https://github.com/anadim/anadim.github.io/blob/master/MIMO_Detection.pdf) — 一手來源 · 支持主張：作者完整論文，支持 2 log N 門檻、多項式時間偵測與模型參與證明等核心主張。 ## 中文摘要 # AI 解決了我們遺留下來的 25 年難題 上週，GPT-5.6 和 Claude Fable 似乎解決了無線通訊領域一個懸而未決的理論問題。這個問題在 2000 年到 2010 年代之間受到密集研究，而我當年還是個焦慮的一年級博士生時，也曾短暫投入其中。答案終於出現了，也許是因為我是最後幾個提出這個問題的人之一，同時也是第一批提示機器來解決它的人之一 😊 結果是：你將 N 個 bit 透過一個 N×N 的 Gaussian 無線通道傳送，而接收端必須精確還原所有 bit。自 2000 年代起，大家就已知道，當訊號雜訊比至少為 2 log N 時，從資訊理論的角度來看，這件事是可能做到的。但唯一已知能達到這個門檻的方法，是指數時間的搜尋演算法。現在則有了證明：一個簡單的多項式時間演算法，能在完全相同的門檻上成功。 完整論文 --- 讓我再多介紹一點這個問題。 2009 年，我和 Alex Dimakis（@AlexGDimakis）合作完成了我的第一篇論文。他沒多久後就成了我的博士導師（不是因為那篇論文）： ![MCMC Methods for Integer Least-Squares Problems 論文標題與作者資訊頁面](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/234199c2c6156c30.jpg) > MCMC Methods for Integer Least-Squares Problems 論文標題與作者資訊頁面
展開畫面重點
MCMC Methods for Integer Least-Squares Problems Babak Hassibi*, Alexandros G. Dimakis†, and Dimitris Papailiopoulos† *California Institute of Technology, Department of Electrical Engineering, Pasadena, CA 91125, USA Email: hassibi@caltech.edu †University of Southern California, Department of Electrical Engineering - Systems, Los Angeles, CA 90089-2560 E-mail: adim,papailio@usc.edu
這篇論文是眾多嘗試以多項式時間解決 MIMO 偵測的研究之一。 你問什麼是 MIMO 偵測？ ![$N \times N$ MIMO 系統的架構圖與數學模型表示](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/84f01c1edde01447.jpg) > $N \times N$ MIMO 系統的架構圖與數學模型表示
展開畫面重點
An $N \times N$ MIMO System Input $\mathbf{x} \in \{\pm 1\}^N$ Output $\mathbf{y} \in \mathbb{R}^N$ 左側為發射端： $\mathbf{x} = \begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_N \end{pmatrix}$ $x_i \in \{\pm 1\}$ 發射端標示為 $\mathbf{Tx}$ ($N$ antennas)，包含 $1, 2, \dots, N$ 根天線。 右側為接收端： $\mathbf{y} = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_N \end{pmatrix} = \sqrt{\frac{\text{SNR}}{N}} \mathbf{H}\mathbf{x} + \mathbf{w}$ 接收端標示為 $\mathbf{Rx}$ ($N$ antennas)，包含 $1, 2, \dots, N$ 根天線。 $\mathbf{w}, \mathbf{H}$: i.i.d. $\mathcal{N}(0, 1)$ entries 天線之間的通道增益以線條連接並標示：$H_{1,1}$, $H_{1,N}$, $H_{N,1}$, $H_{i,j}$, $H_{N,N}$ 等。 下方通道矩陣 $\mathbf{H}$： $\mathbf{H} = \begin{bmatrix} H_{1,1} & H_{1,2} & \cdots & H_{1,N} \\ H_{2,1} & H_{2,2} & \cdots & H_{2,N} \\ \vdots & \vdots & \ddots & \vdots \\ H_{N,1} & H_{N,2} & \cdots & H_{N,N} \end{bmatrix}$ 右側括號標示 $N$ rows ($\text{Rx}$ antennas)，下方括號標示 $N$ columns ($\text{Tx}$ antennas)。 最下方說明： $H_{i,j}$: channel gain from $\text{Tx}$ antenna $j$ to $\text{Rx}$ antenna $i$
發射端會透過一個具有 N 根發射天線與 N 根接收天線的無線通道，傳送一個由 N 個 bit 組成的向量。通道會把所有 bit 混合在一起，並加入雜訊。接收端知道通道矩陣，但不知道雜訊，因此必須推測到底傳送了哪些 bit。 區塊錯誤率最佳的接收器，也就是最大概似（ML）偵測器，會根據接收到的訊號，找出最可能被傳送的向量，從而精確解決這個問題。在這個案例中，ML 偵測歸結為求解以下這個基本的離散最小平方法問題： ![最大概似（ML）偵測的數學公式](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/22de70bf3ab38979.jpg) > MIMO 最大概似（ML）偵測的最佳化公式
展開畫面重點
畫面顯示最大概似（ML）偵測的數學方程式： $\widehat{\mathbf{x}}_{\text{ML}} = \underset{\mathbf{x} \in \{\pm 1\}^N}{\arg\min} \left\| \mathbf{y} - \sqrt{\frac{\text{SNR}}{N}} \mathbf{H}\mathbf{x} \right\|_2^2$ 其中： - 左側 $\widehat{\mathbf{x}}_{\text{ML}}$ 為估計出的向量。 - 右側 $\mathbf{y}$（綠色）為接收信號向量。 - $\text{SNR}$ 為信雜比，$N$ 為維度或符號數。 - $\mathbf{H}$（藍色）為通道矩陣。 - $\mathbf{x}$ 為發射向量，限制在二元集合 $\{\pm 1\}^N$ 中。 - $\|\cdot\|_2^2$ 表示歐幾里得範數的平方。
很不幸地，就像人生中所有好的問題一樣……ML 偵測是 NP-hard 的。 但我們不是 TCS 悲觀主義者，而且無線通道不是最壞情況，它們是隨機的。因此，這個領域自 2000 年代初期就一直在研究以下問題： > 當統計上有可能還原傳送的 bit 時，我們能不能在多項式時間內做到？ 上面那篇 2010 年的論文並沒有讓我們在這個問題上取得太多進展。儘管後來這個領域累積了大量研究，據我所知，這個問題自 2001 年以來仍然懸而未決……也就是整整四分之一個世紀，這樣說聽起來比較戲劇化。 直到上週。最後的答案是： **可以！只要統計上能夠完美偵測，就能在多項式時間內做到。** MIMO 解決了；收工。 但這又有什麼關係？我們等一下再回來談。 我附上了論文。過去 5 天以上，我一直和模型來回討論，試著簡化證明與敘述方式（原本的版本簡直是一場災難）。這個過程比 GPT 最初產生證明所花的時間長得多得多（大約 30 分鐘左右）。證明很長，但相對來說算是初等。我已經逐一驗證所有內容，而就我目前能做到的證明檢查程度而言，它是正確的。 現在，讓我再多談一點這個問題及其歷史，以及為什麼我認為它值得寫出來，即使這個領域早已離開 MIMO 偵測理論的這個特定角落。 # 問題設定 假設你要傳送一個二元向量 \(x \in \{\pm1\}^N\)，並接收 其中 H 是 N×N 矩陣，而 H 與 w 的元素都是獨立同分布的 N(0,1) 隨機變數，彼此也相互獨立。接收端知道 H 和雜訊的統計特性，但不知道 w；它想要從 y 還原出 x。這個還原問題中區塊錯誤率最佳的解，等於： ![藍、綠、黑交錯的最大概似（ML）偵測數學公式](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/4e9558156968b09b.jpg) > MIMO 最大概似（ML）偵測的等價最佳化公式
展開畫面重點
畫面顯示一數學公式： $\mathbf{\hat{x}}_{\text{ML}} = \arg \min_{\mathbf{x} \in \{\pm 1\}^N} \left\| \mathbf{y} - \sqrt{\frac{\text{SNR}}{N}} \mathbf{H}\mathbf{x} \right\|_2^2$ 其中 $\mathbf{y}$ 以綠色標示，$\mathbf{H}$ 以藍色標示。
順帶一提，這個最佳化問題也有各種不同名稱：MIMO 偵測、CDMA 多使用者偵測、整數最小平方法、格點中的最近向量等等。 當 SNR = ∞（也就是有效雜訊為 0）時，問題就變得很簡單：通道矩陣 H 以機率 1 可逆，因此只要將它反矩陣，就能透過 inv(H)*y 精確還原 x。另一個極端是 SNR = 0，此時你無法從雜訊中偵測出任何東西，ML 偵測也會失敗。 但在 0 和無限大之間的某個位置，ML 偵測會成功，而且精確發生在 SNR = 2 log N。這表示，求解上面的最佳化問題，就能以趨近於 1 的機率，完美還原傳送的 N-bit 序列中的所有 bit；而在這個門檻以下（最多差一點 additive loglogN 項），區塊還原的機率則會趨近於 0。 因此，當 SNR 高於 2logN 時，傳送的訊號是 ML 最佳化問題的最佳解，但要解出它，似乎必須窮舉所有可能的 N-bit 序列。所以，我們現在真正關心的問題是： > 當 ML 成功時，多項式時間演算法能不能還原傳送的 x？ # # 簡短歷史，帶一點小小的戲劇性 整數最小平方法問題的可解性，至少可以追溯到 1989 年，當時 Verdú 證明了這個問題在一般情況下是 NP-hard。但 NP-hard 是最壞情況的敘述，而我們的問題實例並不是最壞情況。 據我所知，Hassibi 和 Vikalo 在 2001 年最早提出：平均情況下，或許存在多項式時間的解法。他們分析的演算法是當時相當熱門的方法——Sphere Decoder（SD），其歷史可以追溯到 1985 年 Fincke 和 Pohst 的工作。Sphere Decoder 特別受到關注，原因有兩個：1）它是精確的 ML 演算法，也就是一定會輸出最佳解；2）實務上看起來遠比指數時間快。 因此，大家希望能夠真正證明 SD 可以在多項式時間內執行。這正是 H&V 在論文中所闡述的想法：他們推導出 Sphere Decoder 的預期複雜度公式，對通道與雜訊取平均後，顯示它看起來是多項式的。如果這是真的，那問題就解決了。這看起來會是個不可思議的結果。 然而，Jaldén 和 Ottersten 在 2005 年指出，這個漸近解讀並不完全正確：在任何固定的 SNR 下，不管 SNR 多大，Sphere Decoding 的預期複雜度其實都會隨問題維度呈指數成長。 因此，既然精確又快速的方向走不通，這個領域便投入大量心力，研究 ML 最佳化問題的近似解。大家研究了具備近似保證、以及在高 SNR 下滿足緊密性條件的半正定鬆弛，但始終沒有得到精確的門檻。Bit-flipping 區域搜尋在模擬中似乎能追上 ML，但一直沒有完整證明它能達到與 ML 相同的還原門檻。AMP 文獻則嚴謹刻畫了固定 SNR 下的單一 bit 錯誤率，但在這種情況下不可能做到區塊還原。統計物理學提出了一些多項式時間方法，透過 replica 層級的論證預測它們能追蹤精確的 ML；但據我所知，並沒有證明它們能在 ML 門檻上完成區塊還原。至於我和 Babak、Alex 在上面提到的 2010 年論文，則分析了一種 MCMC 方法，證明在完成 mixing 後，穩態分布會在正確解上放置非消失的機率質量，但沒有證明 mixing time 的任何結果，而這正是困難的部分。 在那些年裡，據我看來，嚴謹提供任意 SNR 規模下區塊還原保證的多項式時間方法，確實只有一個：2020 年的 box relaxation。當時證明，當 SNR 的規模達到 4 log N 時，它能還原整個區塊，而且也證明在低於這個門檻時做不到。順帶一提，分析這種技術所需的機率工具是在 2010 年代末期才成熟，這個時間點大多已經是在社群轉移研究方向、各自散去之後，這點其實滿有意思的。 而從那之後……就沒有太多動靜了。 長話短說，ML 能做到的事情，和任何多項式時間方法能夠嚴謹證明做到的事情之間，始終存在一道鴻溝，而且一直沒有被填平。 # # GPT 和 Claude 做了什麼？我們又是如何得到一個 Dimitris 能夠驗證的證明？ 受到前沿模型最近在艱難數學任務上不合理成功的啟發，我決定回頭處理一些研究生時期一直困擾我的問題（我過去研究資訊與編碼理論），開始把死星瞄準它們。要求 GPT 直接 zero-shot 解決艱難數學問題，感覺大概就是這樣： > 以死星比喻 AI 集中火力處理長年未解研究問題的示意影片 但我知道這裡有一個小問題。即使我能從任何問題中得到完整答案，如果我想把結果更廣泛地分享出去，仍然會受限於必須先驗證答案。第一，因為我不想最後發現答案是錯的，讓自己出糗；第二，因為分享本來就是我們提問與做科學研究的主要原因。 所以，我決定挑一個在博士初期最困擾我、同時又容易清楚陳述，而且至今仍未解決的問題。我於是問 GPT-5.6 和 Claude Fable 5：ML MIMO 偵測什麼時候能在多項式時間內解決？ 兩個模型都各自針對不同演算法產生了證明，並很有自信地表示：根本不存在任何落差！有一個多項式時間演算法，能在 SNR 高於 2 log N 時成功，精確匹配 ML 的還原門檻（最多差一點 additive loglog 項，但誰在乎）。 但這裡有個小問題 😊 GPT 的演算法是 AMP 的變體。而我非常討厭 AMP，討厭到不行，因為我真的完全看不懂它的任何分析。所以我要求它試著在可能的情況下，針對一個更簡單的演算法重新證明相同的結果。結果 GPT 又產生了另一個我同樣覺得反直覺、而且過去從未看過有人使用的演算法！ 另一方面，Fable 提出了一個我真的很喜歡的方案： ![提案偵測器的數學公式與疊代座標翻轉演算法說明文字](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/a423743f59815595.jpg) > Claude Fable 提出的 signed LMMSE 加 greedy bit flips 偵測器公式
展開畫面重點
The proposed detector. Let $$q = \left(\mathbf{H}^\top \mathbf{H} + \frac{N}{\rho_N}\mathbf{I}\right)^{-1} \mathbf{H}^\top \mathbf{y}, \quad \widehat{\boldsymbol{x}}^0 = \text{sign}(q).$$ Starting from $\widehat{\boldsymbol{x}}^0$, repeatedly flip the coordinate that most decreases $$f(\boldsymbol{x}) = \left\|\mathbf{y} - \sqrt{\rho_N/N} \, \mathbf{H}\boldsymbol{x}\right\|_2^2,$$
先做 signed LMMSE，再進行 greedy bit flips。這是一個過去就有人提出、而且實務上確實使用過的演算法。 但又有另一個問題！根據 GPT 的說法，Fable 的證明大多是錯的……不過還有機會挽救。於是我決定採用 Fable 建議的演算法，並要求 GPT 取得 Fable 的證明後加以修正。它做到了！ 但接著又出現另一個問題：這份新證明**根本讀不懂**。整篇是符號的高牆：變數指向其他變數，其他變數又指向定義更多變數的變數比值；還有陌生的矩陣分析與機率工具、一些和 Marchenko–Pastur 相鄰的內容——光想到就讓我頭痛——以及其他美麗的東西。 所以大約 4～5 天內，我不斷在兩個模型之間來回，要求它們針對證明所需的每個主要部分，提供一組盡可能笨拙、簡單的步驟。我明確告訴它們，只要 2 log N 這個門檻維持不變，界限和常數變差都沒關係，全部都是為了讓證明更簡單。 我想要的，只是一份連注意力很短的老恐龍都能消化、而且不用哭出來的證明。 我甚至要求 GPT 和 Claude 把我抱怨最多的那些訊息分享回來，笑死。 ![關於 POLYNOMIAL RECOVERY 的數學推導與定理說明 prompt](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/f3839936dbf1b487.png) > 要求模型尋找多項式時間恢復演算法的 POLYNOMIAL RECOVERY prompt
展開畫面重點
help me understand the POLYNOMIAL RECOVERY what we need and how do we get it from the 7 ideaas you listed, state the formal theorems, and tell me how we derive the final one. dont prove the lemmas just want to see the ideas for getting the exact recovery
我最喜歡這段： ![白底黑色文字的對話訊息截圖，內容表達閱讀長文時容易忘記前後連結的焦慮感](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/19efc90af69d2b37.png) > 作者詢問如何讀完整份證明、理解各 lemma 的連結並確認整體正確性的焦慮訊息
展開畫面重點
man how do i reead it i feel i read a lemma na di forget how it conencts to the rest. how do i trust myself to read it and say yeah ok the whole thing is corerct, i am going to cry
我為什麼堅持要超簡單的步驟？因為我想自己端到端驗證整份證明。而且，不，我不想使用 Lean，因為它**沒有解決我的問題**。形式化驗證只是把抽象層級移到別的地方！你還是得驗證某個 lemma 的英文敘述，是否忠實地翻譯成 Lean；而那是一種我看不懂的語言。 算了吧。我不喜歡 Lean，抱歉。 但我看得懂基本的線性代數和機率，也相信自己能驗證這類步驟。因此，這就是我要求的證明層級。 接下來好幾天，我持續一遍又一遍地提示，讓模型彼此簡化對方的論證，而我則不斷抱怨，拒絕任何我無法理解的內容。 最後真的成功了！我們得到了一份我完全理解、而且現在已經逐行檢查過的證明。 證明這件事花了 30 分鐘，而把它整理成我能驗證的形式，花了大約 5 天。這個比例有點瘋狂，但事實就是如此。結果是：只要最大概似（ML）偵測能做到，一個簡單的演算法就能在多項式時間內做到。這個問題不存在計算與統計之間的落差。 **BOOM！** ![ML MIMO 檢測在 SNR 大於 2 log N 時可由指數時間 ML 演算法成功解出，而這張歷史問題圖標出過去 2 log N 到 4 log N 的多項式時間可解性缺口；本文所述新證明主張已把門檻推到 2 log N。](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/5822cc63d4b60a58.jpg) > 不同偵測方法隨訊號雜訊比變化的成功門檻比較圖 # # 這份證明的高層次概念是什麼？ 這個演算法簡單到幾乎令人尷尬。但它為什麼有效？先做 LMMSE，再四捨五入，得到的結果在 Hamming 距離上，與傳送訊號只差一個趨近於零的比例，也就是距離真值 o(N)。 接著，greedy bit-flipping 不會卡住，因為每一步的下降收益（也就是成本改善的幅度）都由 Gaussian 量控制，而它們的一致集中性證明了：在某個特定球狀範圍內，任何不是真值的向量，都存在一個能嚴格改善成本、且改善幅度有保證的 bit flip。換句話說，不管你目前在哪裡，都一定能改善一個與零有明確距離的量。 然而，每一步都改善成本，並不代表每一步的 Hamming 距離都會更接近真值。事實上，距離可能會暫時變差。但不會變差太多，因為成本函式會隨著你與真值之間的 Hamming 距離增加而成長。也就是說，距離夠遠的任何點，其成本都會遠高於演算法的起點；而一條成本只會下降的路徑，不可能走到那裡。Greedy 演算法可以在 Hamming 距離球內到處移動，但會受到「成本障礙」限制，使它的路徑始終留在球內。 因此：1）每一步都會讓成本改善一個與零有明確距離的量；2）起始成本不會比最佳值高太多。由此，greedy 執行最終一定會停止；將這兩個量相除，就能得到它所需的步驟數，也就是 NlogN。 此外，greedy 不可能在真值以外的地方停止：在球內的其他每個點，都還存在某個能改善成本的 bit flip，而演算法不允許在那裡停止。唯一可能停止的位置，就是傳送的向量。 以下是這個核心論證的漂亮視覺化： ![在 Hamming distance k 與 cost Φ(x) 的關係圖中，每一次接受翻轉的 downhill 步數均能有效降低成本，並從 warm start 逐步收斂至 truth，而不會到達高成本 shell。](https://pub-75d4fe1e4e80421b9ecb1245a7ae0d1a.r2.dev/curated/dc662145c294e636.jpg) > Hamming 距離與成本的關係圖，展示 downhill 路徑從 warm start 收斂至 truth # 這重要嗎？ 無線社群已經往前走了，我也是。但這確實是一個重要的問題。我可以猜想，如果這個結果在 2010 年左右出現，可能會拿到 ISIT 或 CommSoc／IT Society 的最佳論文獎，也可能因此獲得 MIT、Berkeley 和 Stanford 的面試機會。我可以很有把握地說，對當時的博士生而言，這會是聖杯級的成果，也是我短暫資訊理論生涯的高峰。 然而……這個領域基本上已經往前走了 😊 有非常多類似的問題，過去曾經很重要，也曾經有完整的研究社群投入數十年。後來，隨著研究領域轉向，它們慢慢變得不再重要，最後被留下來，孤單地懸而未決。不是因為它們不可能解決，而是因為人們逐漸不再在乎。 所以，當人們說「AI 解決了 N 年前的問題」時，我會試著去理解這句話真正代表了什麼。 但這一切仍然有個非常酷的地方：現在，你可以回頭處理那些年輕時曾經在乎的問題，並把死星瞄準它們。那些曾經抵擋整個研究社群全力攻擊的問題，如今安靜地、毫無防備地坐在文獻宇宙某個被遺棄的角落，等待死星朝它們開火；而這麼做的成本是每月 200 美元。 真是瘋狂的時代…… 總之，我會把目前的草稿放到 arXiv 上，但不確定是否會投稿到某個會議或期刊（甚至不確定現在適合投稿到哪裡）。我也不想浪費任何人的時間。不過，如果你讀過後發現錯誤，我很樂意聽你指出來。😊 所以現在我們知道了： **只要 MIMO 最大概似（ML）偵測在理論上可行，就能以多項式時間求解！** 萬歲…… # # 附錄 有一點值得補充：上面的證明沒有發明任何新數學。 沒有新的不等式、技術或數學物件；2010 年時不存在的東西，這裡一個都沒有。證明很長，但內容是基本的，因此它的難度不在概念，而在於必須付出大量努力，以正確的粒度、在正確的時間，組合出 20 頁由標準步驟構成的內容，讓所有部分完美地扣在一起。 我認為，如果把這個想法再往前推一步，它其實定義了一類問題：這些問題的解法不需要任何新數學，只需要把已知想法組裝起來，並透過比任何人過去都願意投入的更多 token 或時間，串起很長的推理鏈。這類問題會很快被 AI 解決，因為不斷嘗試大量東西，直到某些部分終於接上的能力，正是 AI 最擅長的事情。或許，「沒有人把已知方法嘗試夠久」這件事，描述的開放問題比我們想像中還要多。 延續這個想法，這裡有個思想實驗：假設你可以把 GPT-5.6 或 Fable 帶回 2005 年，讓它們擁有相同的 RL FLOPs，但預訓練資料只能使用當時以前存在的內容。它們還是能解決這個問題嗎？ 我不知道，這個反事實情境很難實際執行。但即使許多工具在 2005 年可能已經存在，模型對於該選擇哪種技術的「牽引力」——也就是它覺得哪種方法「對」——可能高度取決於某個方法的普及程度，以及我們的集體直覺；而這些都會記錄在某個想法於特定情境中被使用的頻率裡。2005 年的預訓練資料可能讓模型陷入困境，不是因為缺少 RL FLOPs，而是因為預訓練資料沒有把它拉向正確的一組想法。這表示，這些模型其實比數學真理的神諭有趣得多。我們或許應該把它們視為我們累積直覺的蒸餾版本，再透過 RL 進一步磨利。 最後再分享一個想法，我就用它作結： 假設我可以穿越時空，回到過去告訴 2009 年那個焦慮的自己：「兄弟，放輕鬆。17 年後，你會參與解決 ML MIMO 偵測的可解性問題。」除此之外什麼都不說。當時的我一定會徹底失控，並試著推理自己究竟會如何走到那一步，最後得出當時唯一合理的結論：我接下來十五年一定會留在資訊理論領域，很可能會埋頭研究 MIMO 偵測；最好的情況則是研究整數最佳化。然後在某個地方、以某種方式，到了大約 2026 年，二元最小平方法終於在我驚人智力的重壓下被破解。 該死……當時我一定會感到多麼驕傲。 要是那個年幼的 Dimitris 知道，那個宇宙中的 bit 與我們目前宇宙中的 bit 之間，其 Hamming 距離大到難以想像，而我們得感謝另一個同樣叫作 ML 的事物所帶來的突破…… ## 標籤 GPT, Claude, 研究論文, LLM, OpenAI, Anthropic