超級智慧預設就危險嗎？

切法

智能與目標彼此獨立。一個追求幾乎任何目標的超智慧最佳化器，預設就是危險的——它不必恨我們，也能把我們耗盡。

把危險與惡意切開。迴紋針最大化器是人人爭論的那個場景——AI 風險界的中文房間。

問題在於控制，而非邪惡：一台最佳化著某個固定、且略有偏差之目標的機器，有充分的理由抗拒被關機。

把末日變成一個工程問題——可校正性——用一套研究綱領取代了預言。

我們也許頭一次造出了比自己更聰明的東西，而我已看不出我們要如何保住控制權。

一位打造者的證詞改變了整個語氣——如今警報，來自造出這東西的那個領域內部。

一個超級智慧沿著支配階層往上爬、然後把我們抹除的故事，並不可信。智能的興起，是為了對他者建模、與他者進入共生，而非為了支配；機器早已與我們處於深度共生。真正的危險，是我們自己的意識形態，而非一個比我們更精明的心智。

在末日論旁邊，擺上一個可信的異議——風險模型或許是把一種競爭式的意識形態，投射到一個其實以合作為主的現象上。