關於
Paul Christiano 是 AI 對齊研究者，也是「基於人類回饋的強化學習」（RLHF）的主要奠基者之一——正是這項技術，把大型語言模型變成了能用的助手。他在 MIT 取得數學學位，在柏克萊取得理論計算機科學博士，2017 至 2021 年間領導 OpenAI 的語言模型對齊團隊，共同撰寫 2017 年的 RLHF 論文，並提出「AI safety via debate」等可擴展監督的方案。2021 年他創立對齊研究中心（ARC），其「引出潛在知識」（ELK）的研究問的是：怎麼讓模型說出它真正相信的東西；ARC 的評估團隊後來獨立成為 METR。2024 年他出任美國 AI 安全研究所（現為 NIST 的 AI 標準與創新中心）安全主管。2026 年 9 月他加入 OpenAI 基金會董事會及其安全與保安委員會，並寫道：「整個 AI 產業，包括 OpenAI」，目前都不在能把災難性失控風險降到可接受程度的軌道上。
主要貢獻
- 共同撰寫〈Deep Reinforcement Learning from Human Preferences〉（2017），奠定 RLHF 的基礎
- 領導 OpenAI 語言模型對齊團隊（2017–2021），並共同提出「AI safety via debate」（2018）
- 創立對齊研究中心（2021），並提出「引出潛在知識」這個問題
- 2024 年出任 NIST 美國 AI 安全研究所安全主管，負責前沿模型的評估工作
- 2026 年加入 OpenAI 基金會董事會及其安全與保安委員會，估計一年內失控風險約 4%、三年內約 15%
影片與訪談
思想連結
David Robinson
影響了他/她前 OpenAI 安全透明度負責人
Christiano 在 2026 年 9 月加入 OpenAI 董事會時寫道，「快速的能力躍進有相當的風險，在很近的將來導致災難性且無法挽回的失控」。Robinson 說，正是讀到這句話，他抬頭環顧公司，問自己：如果 Paul 是對的，他所愛的人、以及素不相識的人，會希望 OpenAI 在做什麼？他說他不知道 Christiano 對不對。打動他的是，這樣一個警告所要求的謹慎，和他在這個產業裡見過的任何事都「完全不像」。幾週後他辭職了。
youtube.com · paulfchristiano.substack.com
Dario Amodei
曾經合作執行長暨共同創辦人・Anthropic
Christiano 是〈Deep Reinforcement Learning from Human Preferences〉（2017）的第一作者，Amodei 是最後一位作者；這篇論文在 OpenAI 完成，合著者還有 Jan Leike、Tom Brown、Miljan Martic 和 Shane Legg。他們讓代理從人類對短片段的比較中學會複雜的行為，而人類回饋只需涵蓋代理不到 1% 的互動。RLHF 就是從這篇論文長出來的。一年後兩人又與 Geoffrey Irving 合寫〈AI safety via debate〉。兩人後來都離開了 OpenAI：Amodei 於 2021 年共同創立 Anthropic，Christiano 同年創立 ARC。
arxiv.org · arxiv.org
Geoffrey Irving
曾經合作Resolution 首席科學家
兩人與 Dario Amodei 在 OpenAI 合寫了〈AI safety via debate〉（2018）。這是對 Christiano 反覆回到的那個問題的一種回答：當系統在被評判的任務上比人類還強，人類要怎麼監督它？辯論的做法是讓系統在裁判面前彼此爭論。Christiano 的其他回答——迭代放大（iterated amplification），以及後來在 ARC 的「引出潛在知識」——則從不同方向處理同一道落差。
arxiv.org
Dwarkesh Patel
曾經對談Dwarkesh Podcast 主持人
2023 年 10 月一場三小時的對談，談 AI 接管可能會怎麼真的發生：Christiano 心中最可能的版本，是控制權一點一點被交出去，而不是突然的一擊。Patel 追問他：讓 ChatGPT 成為可能的 RLHF，是否因為加速了 AI 而弊大於利？Christiano 的回答是大概是，但「不是很清楚」。這場對談收錄在本站。
youtube.com
