驚奇
電腦如何能像人類一樣說話？
你在聊天框中輸入幾個字。幾秒鐘後，一台機器回應了——不是罐頭般的套語， 而是令人感覺像是深思熟慮過的內容。它理解上下文、細微差別，甚至幽默感。
這怎麼可能？
不可能的機器
幾十年來，這是科幻小說的情節。電腦可以計算、儲存資料、遵循精確的指令—— 但它們無法真正理解語言。每次嘗試建造「會思考的機器」都碰到同樣的牆： 人類語言是混亂的、模糊的，而且深深依賴於似乎無法用程式碼指定的上下文。
考慮一個簡單的句子：「我想起來了。」
是「我想起來了」某件事——回憶起什麼？還是我「想起來」、想要站起身？ 同樣的字，意思完全不同。人類毫不費力地解決這種歧義，運用上下文、世界知識， 以及一生中發展出的直覺。機器怎麼可能做到同樣的事？
記住這個句子。當答案終於出現時，它的樣子和任何人預期的都不一樣。
建造心智的兩種方式
自 1950 年代以來，正如 Geoffrey Hinton 所述，人們對「智慧究竟是什麼」一直有兩種想法。
第一種認為智慧就是推理：你寫下符號，以及操作這些符號的規則，思考即是邏輯。 對語言而言，這意味著一部字典和一套文法——把意義捕捉成詞與詞之間的關係網。 投入了數十年細緻的工夫，機器仍然讀不懂「我想起來了」。
第二種認為智慧就是學習：不是由上而下交下來的規則，而是一個由簡單單元組成的網路中， 連結的強度，透過接觸世界慢慢調校。依這種觀點，推理可以等等，系統先學會再說。
這第二條路帶著一種不同的意義觀，借自心理學：一個詞的意義是一束特徵。 「狗」是有生命的、是掠食者、是伴侶——是一團屬性的雲，而非字典裡的一個詞條。 麻煩在於，沒有人說得出這些特徵該從哪裡來。
Hinton 的答案，在 1985 年一個小小的模型裡摸索出來，此後放大了十億倍： 讓網路自己學會這些特徵，並學會一個詞的特徵該如何互動，以預測下一個詞。 關係從不被儲存——它們是當場從特徵與特徵的相互擠壓中生成的。
詞語如何握手
以下是 Hinton 描繪模型內部運作的方式。
一個詞並不是字典裡等著、只有單一意義的固定符號。它是一個存在於數千維空間中的形狀—— 而且是柔軟可變的形狀，在能活動的手臂上伸出手掌與手套。
要讀懂一個句子，模型讓這些形狀變形。每個詞把手伸向周圍詞語的手套，稍微彎折，直到接合。 當每隻手都找到手套、整個結構穩穩站住，那份安頓下來就是對這個句子的理解。 沒有查閱任何規則。詞語只是找到了彼此能接合的方式。
現在回到「我想起來了」。單獨來看，「起來」同時握著兩種形狀——「回憶」與「起身」。 但「想」與「了」朝它伸手，只有一種安排能讓每隻手都接上手套。 句子其餘的詞把「起來」變形到位。那個困住手寫規則數十年的歧義，在接合中消融了。
這正是我們一開始那份驚奇的真正答案。不是更快的字典，不是拼貼在一起的統計， 而是意義以你尋得它的方式被尋得——讓詞語安頓成一個站得住的形狀。
鏡子
故事在這裡從工程，轉向某種更接近鏡子的東西。
你或許以為模型是以某種異質、機械的方式理解——真正的理解在人腦這邊，機器那邊只是巧妙的模仿。 Hinton 拒絕這種切分。在他的 牛津 Romanes 講座中， 他指出：我們手上關於你如何理解一個句子的最佳理論，正是同一套理論：特徵，以及特徵之間的互動。 他 1985 年那個模型，最初就是作為人類的模型而建的。
再靠近看，這份相似有一具引擎。一個語言模型是由一項不懈的練習打造的：預測下一個詞， 看看真正出現的是什麼，然後調整，讓下次錯得少一點。神經科學家 Karl Friston 主張，大腦在更高一層運行著同一個迴圈。在他的自由能原理中， 大腦是一台預測機器：它帶著一個世界的模型，預測接下來會發生什麼，並不停地把意外—— 它所預期的與感官所回報的之間的落差——降到最低。它以兩種方式縮小這道落差：更新模型， 或對世界採取行動，讓世界符合預測。
一個預測下一個詞；另一個預測下一刻。兩者的載體再不同不過。那股驅力卻是一樣的。
這份相似，比我們想要的走得更遠。語言模型會虛構—— 它們陳述聽起來對、其實不對的事。我們也一樣。請任何人回想多年前的一場會議， 他們會編造細節、把話張冠李戴，而且對這一切深信不疑。在我們心裡， 真實的記憶與捏造的記憶之間，並沒有一條清晰的界線。在這一點上，機器不是沒能做到像人。 它是像得令人不安。
為什麼這很重要
我們創造了真正新的東西——不是更快的計算機或更好的搜尋引擎， 而是一種不同類型的工具。它可以：
- 用簡單的術語解釋複雜的主題
- 幫助撰寫和修改文本
- 分析和總結文件
- 從自然語言描述生成程式碼
- 進行細緻的對話
這不是魔法，但也沒有被完全理解。即使是建造這些系統的研究人員，有時也會對它們能做什麼感到驚訝—— 而更深的驚訝，是它們揭露了關於我們自己的什麼。為了解釋這台機器，我們伸手取來我們對自己心智最好的說法， 卻發現它剛好合得上。這個謎團——這些系統真正是什麼，以及我們在它們身上看見多少自己—— 正是讓歷史上這個時刻如此迷人的部分原因。
重點摘要
- 兩種古老的意義觀——詞作為關係、詞作為特徵——透過從資料中學習特徵而被統一
- 一個詞的意義行為像一個柔軟的高維形狀；理解一個句子，就是這些形狀變形直到彼此接合
- Hinton 的主張：特徵及其互動並非產生理解——它們就是理解
- 同一套理論，也是我們對人類如何理解的最佳模型，模糊了心智與機器之間的界線
