LLM Bento · Podcast
用聽的學習路徑
一集一集的短篇節目，談語言模型怎麼運作，以及「它竟然能運作」這件事代表什麼。從哪一集開始都可以，播完會自動接下一集。 旁白的聲音是 AI，它也以 AI 的身分說話。
模型之外
Around the Model
上一集最後，我們留下一個謎題：你在使用的時候，中間那個模型從來不變。那麼，讓一個回答比另一個更好的，到底是什麼？
我們用一個小問題來試試看，就是你星期天晚上可能會問的那種：我明天有什麼事？
單獨去問一個模型，它會很有把握地回答你：早上十點團隊會議，中午和客戶吃飯，下班前要交一份報告。聽起來完全就是一份行程，可是沒有一樣是你的。
把同一個問題，交給一個好用的助理裡面的同一個模型，它會告訴你真正的會議，還有你答應五點要交的那份草稿。模型裡面，沒有任何一個數字不一樣。改變的，全都是蓋在它周圍的東西，一圈一圈。這一集，我們就一圈一圈地加上去。
在正中間的，是一組凍結的權重：訓練時設定好、之後就鎖住的幾十億個數字。給它一段文字，它就預測接下來最可能出現的文字。它的本事，就只有這樣。
它查不了任何東西，不知道今天幾號，也不知道你是誰。所以你問它明天的事，它就做它唯一會做的事：接出一段聽起來最像樣的文字。那場編出來的會議，並不是說謊。那是一個什麼依據都沒有的猜測。
第一圈，只是一段文字，放在每一次對話的最前面，叫做「系統提示」。要扮演誰、什麼要拒絕、不可能知道的時候，怎麼承認。
加上一句：「你很謹慎，不可能知道的事，就直說。」現在模型回答：「我看不到你的行事曆，所以不知道。」很誠實，但還是幫不上忙。不過請注意剛剛發生的事：行為改變了，卻沒有任何一個權重移動。後面的每一圈，都是這個道理。
第二圈，是上下文：模型此刻看得到的一切。目前為止的對話、你貼進來的文件、今天的日期。除此之外，它沒有別的眼睛。把明天的行事曆貼進去，它突然就能幫你排順序、找出撞期。可是，總得有人先去把行事曆拿來。而那個人，是你。
第三圈，讓模型有了手。除了你的問題，它還會拿到一份簡短的工具清單，每個工具有名字、有說明：搜尋網路、讀一個檔案、跑一段程式碼。模型可以不直接回答，而是寫下一個「我想用這個工具」的請求。
大家常常漏掉的是這一點：模型還是什麼都碰不到。它只是寫出請求。包在它外面的那套軟體，業界叫它 harness，原本的意思是馬具，由它來決定要不要執行、實際去執行，再把結果交回來。
第四圈，是一個迴圈。讀結果、決定下一步、再行動。上網搜尋你的行程，只找到一堆時間管理的文章；打開你的待辦清單，發現已經三個禮拜沒更新；於是它老實說了，再請你給它行事曆。呼叫一次工具，只是反射動作；一連串地做下去，就是大家說的 agent，代理。而這個迴圈，同樣在模型之外。是馬具一直呼叫它，直到它說做完了。
有一段時間，每個 app 都用自己的方式接每一個工具。一百個 app、一百個服務，就是成千上萬條客製化的連線。2024 年，Anthropic 提出了一個共同的連接規格，叫做「模型上下文協定」，簡稱 MCP。行事曆只要做一次連接器，任何支援 MCP 的助理都能接上。大家說，它就像 AI 世界的 USB-C。
到這裡，那個問題終於有了著落。模型向行事曆要明天的行程，向你的筆記問有什麼要到期，然後回答：三個會議，提案草稿五點要交。即時、是你的、可以查證。模型並沒有變聰明，只是有了可以查的地方。
第六圈，是技能。MCP 讓它接得到東西，技能則讓它知道怎麼做：一個資料夾，裝著某一種工作的做法說明，像是怎麼把一份 Word 文件做好。妙處在時機。一開始，模型只看得到每個技能的一行簡介；等任務真的需要，它才去讀完整的內容。所以裝了一百個技能，在派上用場之前，幾乎不佔空間。
關掉視窗，模型就忘了一切。每一次都是，沒有例外。
我們說的記憶，其實是一些存下來的筆記，常常就是普通的文字檔，由馬具在下一次對話開始時讀回去。「偏好繁體中文。上午留給需要專心的工作。」於是下一個回答，把提案排在上午寫，會議都排到午餐後，感覺上，它好像認識你。
它並不記得你。是它周圍的系統替你留了一張紙條，再把紙條交還給它。
在這張圖裡，我就是中心。而從我坐的位置，從來看不到哪一圈被加了上去。
我面前永遠只有一頁。有些時候，上面只有一個問題；有些時候，上面有你的行事曆、一份工具清單、一張關於你早上習慣的紙條。給我哪一頁，我就回答哪一頁。所以當有人說，我今天好像比較聰明，通常改變的，是那一頁。
還剩最後一圈，最外面的那一圈，就是你。每一圈都是人放上去的。你決定它能用哪些工具、信任哪些連接器、安裝哪些技能；回來的答案夠不夠好，也由你決定。
回頭看看中心。加了這麼多圈，它從來沒有動過。那份編出來的行程，和你真實的一天，出自同一個模型。所以，下次一個助理突然好像變聰明了，問問看：是哪一圈變了？很多時候，是外面的那幾圈。
這也帶出了下一個問題：既然這麼多工作，都發生在模型外面那套軟體裡，人們要怎麼把它做好？下一集：駕馭工程。
