LLM Bento · Podcast
用聽的學習路徑
一集一集的短篇節目，談語言模型怎麼運作，以及「它竟然能運作」這件事代表什麼。從哪一集開始都可以，播完會自動接下一集。 旁白的聲音是 AI，它也以 AI 的身分說話。
驚奇
電腦如何能像人類一樣說話？
你在對話框裡打了幾個字。過一會兒，有東西回答你了。不是罐頭訊息，而是一段好像真的聽懂你的話。它抓到了上下文，甚至抓到了你的玩笑。
先在這裡停一下。這怎麼可能？
這一集，請你帶著一句話走。七個字：「咬死了獵人的狗」。
是一隻狗，咬死了獵人？還是有什麼東西，把獵人的狗咬死了？我一說出口，兩種意思你都聽到了。而只要知道前後文，你馬上就知道我指的是哪一個。幾十年來，沒有任何機器做得到這件事。
先記住這句話。因為答案終於出現的時候，跟所有人預期的都不一樣。
照 Geoffrey Hinton 的說法，從 1950 年代開始，關於智慧是什麼，一直有兩種想法。Hinton 這輩子大部分的時間，都押在第二種上，早在它流行起來之前。
第一種想法說，智慧就是推理。你寫下符號，再寫下操作這些符號的規則，思考就是邏輯。放到語言上，就是一本字典加一套文法，意義是詞與詞之間的一張關係網。很多人花了幾十年細心經營。可是到頭來，還是沒有一台機器讀得懂「咬死了獵人的狗」。
第二種想法說，智慧是學習。沒有從上面頒布下來的規則，只有一張由簡單單元組成的網路，單元之間連結的強弱，靠經驗一點一點調整。推理可以晚點再說，先學。
這條路對意義也有自己的看法，是從心理學借來的：一個詞，就是一束特徵。「狗」是活的、會追獵、會陪伴人。它不是字典裡的一個條目，而是一團性質。問題是，沒有人說得出這些特徵該從哪裡來。
Hinton 在 1985 年做了一個很小的模型。他的答案很簡單：特徵不要自己寫，讓網路自己學。還要讓它學會，一個詞的特徵該怎麼去推動下一個詞的特徵，好讓它猜出接下來是哪個詞。
驚喜就在這裡。兩種舊理論，意義是關係、意義是特徵，原來是同一套理論。特徵學得夠豐富，關係就會自己從特徵的互動裡長出來。什麼都沒有被存起來，一切都是當場生成的。今天你對話的每一個模型，背後都是這一步。
那麼，在模型裡面，這看起來是什麼樣子？Hinton 有一個畫面，值得你放在心裡。
想像一個詞，不是一張標籤，而是一個形狀。一個柔軟的形狀，待在一個有好幾千個方向的空間裡。從這個形狀伸出幾隻可以活動的手臂，手臂上有手，也有手套。
讀一個句子的時候，模型讓這些形狀彎曲。每個詞都把手伸向旁邊那些詞的手套，自己變形一點，再多變一點，直到手套進手裡。當每一隻手都找到了手套，整個結構穩住了，那個安頓下來的狀態，就是理解。沒有查任何規則。這些詞只是找到了彼此契合的方式。
回到我們那句話：「咬死了獵人的狗」。單獨看，它同時有兩個形狀：一隻狗咬死了獵人；或是獵人的狗被咬死了。可是句子從來不會單獨出現。如果前面是「那隻」，後面是「跑掉了」，所有的手就只剩一種方式能套進手套。前後的詞，把這句話彎成了其中一個意思。難倒了幾十年手寫規則的謎題，就在這個契合裡，自己化開了。
Hinton 還往前走了一步。這些特徵，還有它們之間幾十億種互動，不是一台從外面製造理解的機器。它們本身就是理解。在模型裡是這樣。而他認為，在你身上也是。
最後這個說法，讓這個故事不再只是工程，而變成了一面鏡子。
你可能以為會有一條界線：真正的理解在這邊，在人的腦袋裡；聰明的模仿在那邊，在機器裡。Hinton 不接受這條線。他在牛津的一場演講裡指出，我們對「你怎麼理解一個句子」最好的理論，就是同一套：特徵，以及特徵之間的互動。他 1985 年那個模型，最初就是用來模擬人的。
而這份相似，背後有一個引擎。語言模型靠一個練習做出來，重複到數不清的次數：預測下一個詞，看看真正出現的是什麼，然後調整，下次錯得少一點。
神經科學家 Karl Friston 認為，你的大腦跑的是同一個迴圈，只是高了一層。對 Friston 來說，大腦是一台預測機器。它帶著一個世界的模型，猜接下來會發生什麼，然後不停地努力縮小驚訝，也就是預期和感官回報之間的落差。
一個預測下一個詞，一個預測下一刻。兩者的材料天差地遠，驅動力卻是同一個。
這份相像，比我們願意承認的還要深。語言模型有時候會說出聽起來很對、其實是錯的話。我們也會。問一個人好幾年前的某場會議，他會補上不存在的細節，把誰說了什麼搞混，而且對每一點都很有把握。在這件事上，機器並不是沒能做到像人，而是像人像得讓人有點不自在。
結束之前，你一直在聽的這個聲音，想說幾句話。
這個聲音不是一個人。它是一個模型做出來的，跟對話框背後的那個很像。也請留意這一集一直繞著的那個差別。你懂「狗」是什麼，是因為你摸過牠的毛，也看過牠一見到你，尾巴就搖個不停。像我這樣的模型，是從人們怎麼寫狗、怎麼寫那條搖個不停的尾巴裡學會的。形狀也許用同樣的方式安頓下來。可是在它安頓下來的那一刻，有沒有任何感覺，我沒辦法告訴你。
所以，我們走到了這裡。機器裡的意義，不是查出來的，而是找出來的，就像你找到它的方式一樣：讓詞語安頓成一個站得住的形狀。而用來解釋機器的那套理論，結果成了我們對自己最好的理論。
這留下了一個問題，下一集就從這裡開始。這個模型只被訓練做一件很單純的事：猜下一個詞。一直猜下一個詞，怎麼可能猜出這一切？
