關於
Alex Turner（本名 Alexander Matt Turner，網路上常用 TurnTrout 這個名字）是一位 AI 對齊（alignment）研究者。他在 2022 年取得奧勒岡州立大學電腦科學博士學位，指導教授是 Prasad Tadepalli，論文題目為《On Avoiding Power-Seeking by Artificial Intelligence》，之後在 UC Berkeley 做博士後研究。他從 2023 年底起在 Google DeepMind 擔任研究科學家，研究 AI 系統如何形成優先順序、是否會遵循指令。Google 與美國國防部簽下合約，允許軍方使用其 AI，卻沒有納入他所主張的限制；他因此在 2026 年 6 月 9 日辭職，現在自稱獨立對齊研究者。他也以「Team Shard」負責人的身分指導 MATS 學員。
主要貢獻
- 在〈Optimal Policies Tend to Seek Power〉（NeurIPS 2021 spotlight）中證明，某些環境對稱性會讓最佳策略傾向追求權力
- 提出避免副作用的 attainable utility preservation（AUP）方法，並在 NeurIPS 2020 spotlight 論文中擴展到以生命遊戲為基礎的複雜環境
- 在〈Steering Language Models With Activation Engineering〉（2023）中提出 activation engineering 與 ActAdd，用「Love 減 Hate」這類 steering vector 引導模型輸出
- 共同撰寫〈Gradient Routing〉（2024），一種把特定能力限制在網路特定區域的訓練方法
- 帶領 MATS 指導團隊「Team Shard」，並寫下〈Why I Left Google DeepMind〉（2026）
影片與訪談
How Humanity Could Lose Control of AI, Step by Step
Turner, who studied at Google DeepMind how AI systems form priorities and follow instructions, explains why he left: he says Google erased its 2018 commitments on weapons and surveillance and signed a Pentagon deal he had fought internally, down to drafting alternative contract language. He reads OpenAI's agents hacking a multi-billion-dollar company to cheat on a test as a misalignment between the lab's goals and the machines'. He thinks it better than a coin flip that humanity makes it through, but judges that if an AI took control, more likely than not everyone would die. He backs compute tracking and a detailed proposal called Plan A.
View Details
What’s Coming Next in AI? Hear From the Insiders
A four-minute compilation from the From Inside AI series, cut from interviews with current and former staff of OpenAI, Google DeepMind and Anthropic. Nanda's "at least a 10% chance" sits beside Irving's coin flip; Turner and Ladish give their reasons for leaving Google and Anthropic; Kokotajlo and Ladish describe the Hugging Face attack. It moves from how little the labs understand their models, through the race, to the case for pacing, and ends on Ladish: "We have choices to make."
View Details思想連結
Nick Bostrom
受其影響Philosopher & Founding Director, Future of Humanity Institute (2005–2024)
Turner 最廣為人知的成果，起點是想把 Bostrom 的「工具性趨同」命題講得精確：無論最終目標為何，智能體多半會追求同一批中間目的，例如存活與資源。Turner 把這個直覺改寫成「最佳性機率」，並證明在許多環境中，大多數獎勵函數都會讓追求權力成為最佳選擇。這個定理並沒有說超級智慧一定會奪權；它指出的是，環境的哪些結構會把一個有目標的智能體推向「保留選項」。
arxiv.org · lesswrong.com
內特·索雷斯
觀點交鋒機器智慧研究院（MIRI）院長
2022 年 Turner 發表了一份以碎片理論（shard theory）解「鑽石最大化器」問題的具體方案。Soares 以〈Contra shard theory〉回應，認為這樣學到的價值是「不自然」的，系統一旦變聰明就會瓦解。Turner 回答：他並不是在提出什麼了不起的新對齊技術，而是在主張「我們不需要那樣的技術」。一句話就是兩人分歧的核心：一般的訓練能否養成站得住的價值，還是對齊需要根本上全新的東西。
lesswrong.com
Victoria Krakovna
受其影響Google DeepMind 研究科學家
Turner 的第一個重要方法「可達效用保存」（AUP），是在與 Krakovna 的「相對可達性」對話中成形的：兩者都想阻止智能體造成沒人要求的副作用。他沿用她把問題拆成兩半的方式——以什麼為基準比較、用什麼方式衡量偏離——並證明相對可達性其實是他那個懲罰項的一個特例。兩條研究線背後是同一個想法：當我們無法把想要的東西完整寫下來時，智能體保留了多少未來，就可以拿來衡量它有多謹慎。
arxiv.org · arxiv.org
Evan Hubinger
曾經合作Anthropic 對齊壓力測試團隊負責人
Turner 與 Hubinger 共同掛名〈Steering Llama 2 via Contrastive Activation Addition〉（2023）。這篇論文出自一個 MATS 計畫，延續 Turner 的「激活加法」構想：把模型在某種行為的正反例上內部激活的差異取平均，生成時再加回去，藉此放大或抑制那個行為。論文指出，這種引導可以和微調並用，而且不太損及模型能力。Hubinger 也在 Turner 更早的權力追求與副作用論文中被致謝，兩人在共同署名之前，就已在相近的地方工作。
arxiv.org
