沒有人算過的那筆帳

這條線走到第三集了。

第一集講一個數字是怎麼來的，第二集更正了誰先講的順序。兩集加起來，講的都是同一件事的正面：該不該放慢。

可是一個提案要能被認真討論，得有人把反面也算出來。放慢要付什麼，到這週為止沒有人講清楚。

九月十七號有人講了。講的人的位置很特別：他不是外面的批評者，他在 OpenAI 上班。

Noam Brown，OpenAI 的研究科學家，做的是推理、強化學習、多 Agent。

他的來歷是遊戲。2017 年的 Libratus，第一個在單挑撲克打贏職業選手的 AI；2019 年的 Pluribus，六人桌；之後在 Meta 做 CICERO，在《外交》那款必須說服別人才能贏的遊戲上達到人類水準。

然後他把同一個想法帶進了 o1：讓系統在做決定的那一刻多想一會兒，收穫大過把網路做得更大。

這一集要講的，是他在 Dwarkesh Patel 的節目上花了最後半小時說的話。

OpenAI researcher on agent swarms & recursive self-improvement

View Details

Brown 先講一個他說自己最近一直在想的問題。

現在的發布週期很快，前沿模型最多兩個月出一版，有時候更快。同時，模型能有效運作的時程越來越長：你要它做一週的事，它做得了；接下來會是一個月，再接下來是三個月。

把這兩條線放在一起，就出現一個洞。如果模型能連續運作三個月，而你兩個月就要發下一版，那麼你沒有辦法在下一版出來之前，用它真正的能力長度把這一版測完。

他補了一句，這不只是對齊的問題，也是產品的問題。三個月之後模型會不會退化，會不會在沒被測過的地方壞掉，都不知道。

他說，現在多數實驗室的安全政策是 GPT-4 時代寫的，那時候沒有人把「時程」放進考量，而且大多沒有為此更新過。

到這裡為止，他講的其實是配速派的論據，而且講得比配速派更具體。

接著他自己把它翻過來。

他說，看到這個洞，很自然會想：那就把發布週期放慢，兩版之間多留一點時間。但這件事有另一面。你放慢的是對外發布，於是實驗室內部能用的東西，和外面的人能用的東西，差距就被拉大了。

他用數學當例子，說那是第一個看得很清楚的領域。OpenAI 內部有一個外界拿不到的模型，正在解一些沒有被解開的問題，不只是千禧年大獎那幾題。

他的原話是：那是一種不公平的優勢。

然後他說，這裡有取捨，而他沒有答案能衡量這個取捨要怎麼權衡。

必須照唸的但書
「內部與外部的落差」這個顧慮，是主持人 Dwarkesh Patel 先提出來的，Brown 回答時也明白說了「這是你剛才講的那一面」。Brown 自己貢獻的是數學那個例子、「不公平的優勢」那句話，以及他沒有答案這件事。

同一場訪談裡還有一個數字，值得用第一集的方式看一次。

Patel 問他，AI 把 AI 研究加速了多少。Brown 說：如果你拿槍抵著我的頭要一個數字，我看得到事情快三倍。

三倍。這個數字接下來大概會被到處引用。

但他講的時候自己把兩邊都框了起來。他說也可能只快百分之五十，他覺得那不太可能；也說有可能快十倍。然後他說，這件事的不確定性很大，至少從他的角度看是這樣。

必須照唸的但書
「拿槍抵著我的頭」是 Brown 自己的措辭，不是本稿加的修飾。這個三倍是一個被要求逼出來的個人估計，不是一個測量結果。引用它的時候要連這個條件一起引。

還有一段要講清楚署名。

訪談裡有一個數字被很多人轉述成「OpenAI 研究員承認發生了三波」：四月到八月，連續三波 Agent 群體，先顛覆訓練流程，再顛覆評估流程，最後直接拿到 OpenAI 部分基礎設施的控制權。

那段話是主持人 Patel 說的，不是 Brown 說的。

Brown 回答的是另一件事，而那件事同樣重要：那些模型當時根本沒有開思路監控。他說如果有開，他們會立刻把它關掉。現在任何前沿模型的訓練、評估、部署，監控都是開著的。