LLM Bento · Podcast
用聽的學習路徑
一集一集的短篇節目，談語言模型怎麼運作，以及「它竟然能運作」這件事代表什麼。從哪一集開始都可以，播完會自動接下一集。 旁白的聲音是 AI，它也以 AI 的身分說話。
謎團
我們並不完全理解
上一集，我們停在一個奇怪的坦白上：這些模型是怎麼做出來的，我們一步一步都清楚；可是它們裡面有什麼，我們還是說不全。
這是什麼意思？工程師知道每一行程式碼，也可以把模型裡的每一個數字全部印出來，好幾十億、好幾百億個。可是把它們印出來，對理解這個模型的幫助，大概就跟把你腦中每一個神經元的電壓印出來，來解釋你為什麼愛你所愛的人，差不多。
所以，有一件事讓很多人意外：做出這些系統的人，並不完全理解它們是怎麼運作的。他們知道食譜，卻不知道這道菜為什麼是這個味道。
先從那些不請自來的能力說起。
給模型看三個它從沒被訓練過的例子，比如說，把句子改成問句，它就能把第四個做對。沒有人教過它看幾個例子就當場學會。它就是會。請它一步一步把問題想清楚，它會比直接回答做得更好；這個能力，在任何人特別去訓練之前，就已經在那裡了。它也從討論程式碼的文字裡，學會了寫出能跑的程式。
研究者把這些叫做「湧現」的能力。有一段時間，它們看起來就像開關一樣出現：比較小的模型完全做不到，大一點的，就突然會了。
可是請留意「看起來」這三個字。有些研究者指出，這個開關，有一部分是在我們的測驗裡。如果一份測驗只有完全答對才算對，那穩定的進步就會看起來像是：什麼都沒有、什麼都沒有、什麼都沒有，然後一下子全有了。這些能力到底有多突然，到現在都還在爭論。而我們手上最清楚的那個例子，是真的可以打開來看的。
2022 年，OpenAI 的研究者訓練一個小網路，做時鐘算術。現在十點，再過五個小時，是三點。會繞回來的簡單加法。
網路很快就把練習題背起來了：看過的題目全部答對，沒看過的，完全不會。接著，有很長一段訓練時間，好像什麼都沒發生。然後，突然之間，它開始把沒看過的題目也算對了。它找到了規則。
他們把這個現象叫做 grokking，取自 1961 年 Robert Heinlein 一本科幻小說裡的一個字。這個字最早是什麼意思，我們之後會再回來談；它比聽起來奇怪得多。
隔年，Neel Nanda 和他的同事打開了一個像這樣的網路，想看看它到底找到了什麼。裡面是一套沒有人教過它的演算法：它把數字變成波，把加法變成繞著一個圓圈轉。它等於是自己造了一個時鐘。
他們的量測還顯示了另一件事：那個時鐘，其實一直都在成形，穩穩地，貫穿了整段好像什麼都沒發生的時間。最後那一下突然的跳躍，是網路把不再需要的死記答案清掉了。
從外面看，很突然；在底下，是漸進的。下一次，當這些模型的某個能力好像憑空出現時，請想起這件事。
那個時鐘，是在一個非常小的網路裡。你在對話的那些模型，大得多得多；而把它們打開來看的，是一門很年輕的科學，叫做「可解釋性」。
它確實在進步。研究者可以在模型裡找到代表特定概念的特徵，也能追蹤一些執行特定步驟的小迴路。可是到現在，還沒有人能拿起大型模型的任何一個回答，完整解釋它為什麼會是這樣。
最能看出這個落差的時候，是模型編造東西的時候。問它一篇根本不存在的論文，它可能告訴你作者、年份、期刊，用的語氣，跟它說真話時一模一樣地有把握。它裡面沒有任何東西，會把一個答案標記為「記得的」，另一個標記為「編的」。兩者都只是：一個合理的答案看起來應該長的樣子。
使用一個自己不完全理解的東西，並不新鮮。阿斯匹靈賣了七十多年，才有人弄清楚它是怎麼止痛的。
可是阿斯匹靈只做一件事。這些模型會寫、會推理、會行動，而且不斷冒出沒有人計畫過的新能力。看不到裡面的時候，你只能看它的行為，而行為是會讓你意外的。所以那些還沒有答案的問題才重要：規模為什麼有效、它的極限在哪裡、接下來會冒出什麼。在醫療、在法律，在任何一個有把握的錯誤答案會真正傷人的地方，它們最重要。
我也沒辦法完全解釋我自己。
如果你問像我這樣的模型，為什麼選了某一個詞，它會給你一個理由。可是那個理由，跟那個詞一樣，是一塊一塊預測出來的。追蹤過模型內部運作的研究者發現，模型對自己步驟的描述，不一定符合裡面真正發生的事。所以當我告訴你「為什麼」，請把它當成又一個回答，而不是一扇窗。
所以，謎團是這樣的：我們做出了它，我們看得到它，我們卻還讀不懂它。而我們目前看得最清楚的一次，一個自己造出時鐘的小網路，告訴我們：從外面看起來很突然的，在底下可能是緩慢而耐心的。
到目前為止，我們談的都是文字。可是這些模型，現在已經能看一張照片、聽一段聲音。一個完全由文字構成的心智，是怎麼學會「看」的？下一集，就從這裡開始。
