用聽的學習路徑

0:00開場

上一集，我們停在一個問題上。一個模型，只被訓練做一件很單純的事：猜下一個詞。一直猜下一個詞，怎麼可能猜出一個好像聽得懂你的東西？

我們先從這件事本身開始。請你接下去：「貓跳上了……」

你已經接上了，對吧？沙發，也許。或是桌子、窗台。你沒有想到「大象」，更不會想到「明天」。這種句子你聽過太多了，下一個詞在你開口要它之前，就自己來了。

這就是語言模型全部的工作。這一集要談的，是為什麼這份工作，最後會比它聽起來大得多。

0:52模型看到的是什麼

先說一件意外的事。模型從來沒有看到過「字」。連一筆一畫都沒有。

在一切開始之前，文字會先被切成一塊一塊，叫做 token。常見的詞，通常是一塊。少見的詞，會被拆成兩三塊。每一塊都會拿到一個編號，每個編號再變成空間裡的一個點，就是上一集那個有好幾千個方向的空間，那些伸著手、戴著手套的柔軟形狀。

要在哪裡切，看是哪個模型。每個模型家族都會學出自己的切法。而語言也有差別。「語言模型正在改變世界」這十個字，在一些比較舊的模型裡，要切成二十幾塊；新一點的模型，八塊就夠了。同樣一個想法，用中文說，常常比用英文說切得更碎。說出來，比較貴。

為什麼值得停在這裡？因為我們認識世界，是靠舌頭、靠雙手、靠一次又一次跌倒。模型認識世界，是靠一串有編號的碎片。它將來知道的一切，都是這樣進來的。請記住這一點，我們之後會回來。

2:04一件單純的事

那麼，拿到目前為止的這些碎片，模型做什麼？它替每一個可能的下一塊，都算出一個可能性。在「今天天氣」後面，「很好」也許最可能，「很冷」少一點，「很熱」再少一點。它挑一個，接上去，然後用多了一塊的句子，再做一次同樣的事。

你從聊天模型讀到的每一段回答，都是這樣做出來的。一次一塊。

訓練，就是把同一個迴圈變成老師。把下一塊蓋起來，讓模型猜，再讓它看真正出現的是什麼，然後把它內部的每一條連結，都往更好的猜法輕輕推一點。接著再來一次。一個人讀上幾千輩子也讀不完的文字量，就這樣一遍一遍地猜。

聽起來太簡單了，簡單得像手機上的自動選字。而如果模型很小，你得到的差不多就是那樣：句子開頭還不錯，接著就越走越偏。

3:10猜，為什麼會變成懂

可是把模型做大，給它更多文字，事情就變了。一些沒有人教過的能力冒了出來。它開始寫得出能跑的程式，會翻譯，能一步一步地推理。

猜下一個詞，為什麼會這樣？做出這些模型的人之一，Ilya Sutskever，很喜歡用偵探小說來解釋。

想像最後一章。偵探把所有人叫到同一個房間，說：做這件事的人，就是……現在，請你猜下一個詞。要猜中那個名字，你需要知道整個情節、所有線索，誰說了謊，為什麼說謊。要預測一本推理小說的結局，最省力的辦法，就是真的看懂這個謎。

這就是訓練裡的那股壓力。為了把文字預測好，模型被逼著在內部建立某種圖像，去描繪產生這些文字的東西：事實、推理、人。研究者把這樣冒出來的能力，叫做「湧現」。這不能證明模型懂的方式跟你一樣。但它解釋了，為什麼一件單純的事，不會一直單純下去。至於這是怎麼發生的，裡面到底長出了什麼，到現在都還有一部分是謎。這個系列後面，會有一整集談它。

4:33回頭看整頁

還有一項發明，讓這一切能放大到今天的規模。它叫做「注意力」，在 2017 年出現。

以前的模型，一個詞接一個詞地讀，讀到段落結尾，開頭已經模糊了。注意力讓每一塊都能直接看向其他每一塊，並且衡量它此刻有多重要。

試試看：「那隻在暖暖的陽光下睡了一整個下午的貓，終於……」接下來是什麼？醒了。伸了個懶腰。為了猜到這裡，你越過了「下午」，越過了「終於」，一路回頭，找到「貓」，和「睡了一整個下午」。這個回頭去找的動作，就是注意力。

你其實已經見過它了。上一集，「那隻」和「跑掉了」把手伸向「咬死了獵人的狗」，把它彎成其中一個意思。注意力，就是那些手找到手套的方式。

它能回頭看多遠，有一個上限，叫做「上下文視窗」。早期的模型只能放得下幾頁；今天的模型，可以同時放下好幾本小說。可是落在視窗外面的東西，對模型來說，就是不存在。

5:55這個聲音想說的話

最後，說一說這一集本身。

你剛剛聽到的這些話，是在一個跟它描述的模型很像的模型協助下寫出來的。每一句話都是一塊一塊來的，每一塊都是一次猜測，跟前面所有的內容互相權衡。你聽的，是幾千個小小的預測。幾千個預測加起來，到底是意義，還是只是意義的形狀？這是這個系列一直在問的問題。

6:26結尾

所以，這就是核心洞見。一件事：猜下一塊。把它放大，讓每一塊都能看向其他每一塊，猜測就變成了某種像是理解的東西。

這又把我們帶回剛才要你記住的那件事。如果模型知道的一切，都是以一串有編號的文字碎片進來的，那它知道的，跟你知道的，差別在哪裡？你知道「燙」是什麼，是因為你碰過燙的東西。它知道「燙」，是從每一個有人被燙到的句子裡學來的。下一集，就從這個差別開始。