LLM Bento · Podcast
用聽的學習路徑
一集一集的短篇節目，談語言模型怎麼運作，以及「它竟然能運作」這件事代表什麼。從哪一集開始都可以，播完會自動接下一集。 旁白的聲音是 AI，它也以 AI 的身分說話。
駕馭工程
Harness Engineering
上一集，我們看著同一個問題，在模型外面每多加一圈，就得到更好的回答。最後我們問：人們要怎麼把這些圈蓋好？
先講一個很常見的情況。一個新模型推出了。在某個產品裡，它看起來聰明極了；在另一個產品裡，用的明明是同一個模型，卻顯得笨手笨腳，甚至有點遲鈍。一樣的權重，一樣的訓練。那麼，哪一個才是真正的它？
台大的李宏毅教授，在一堂課裡說得很直白：有時候語言模型不是不夠聰明，只是沒有被人好好引導。這一集，就來談這份引導，還有它後來得到的名字：駕馭工程。
在這個網站上，馬群裡的每個模型，都被畫成一匹馬。體型代表參數，頭代表上下文，品種代表它擅長什麼。馬，就是模型本身。
可是一匹馬，自己不會去犁田，也不會去拉車。人得替牠裝上東西：馬鞍、韁繩、還有其他器具。這一整套裝備，就是馬具，也就是 harness。它是故事的另一半。
訓練決定了天花板，也就是一個模型最多能做到哪裡。你能多接近那個天花板，要看馬具：指令、工具、範例、限制，還有測試。這些都碰不到權重，卻全都會改變你得到的結果。
馬具不是一次設計好的。每一個新部件出現，都是因為前一個撞到了牆。
一開始，只有一個輸入框，和一點希望。大家發現，換個說法，結果就完全不同，於是半開玩笑地叫它「提示工程」。後來才發現，這不是玩笑。
接著，聊天模型給了我們一個正式的位置，在對話開始前先把場景設好，那就是系統訊息。從此，模型有了角色，不只是一個問題。
然後是範例。給它兩三個你想要的樣子，它就會照著那個模式走，不用再猜。再來，大家發現，只要請模型一步一步想，它就推理得更好。這是第一次，提示塑造的不只是答案，還有思考的過程。
接著是工具，讓它不必再猜事實，可以直接去查。然後是結構化輸出，讓別的軟體讀得懂它寫的東西。再來是迴圈，讓它行動、看結果、再行動。最後是評估，也就是告訴你這一切到底有沒有用的測試。
每一步，都解決了前一步的極限。沒有一步讓模型變得更聰明，卻每一步都讓它更有用。
用馬來比喻，還有一個好處：有四件真正的馬具，剛好對應到四種技巧。
馬鞍，是系統提示。其他一切都坐在它上面。它一直都在，在說出第一個字之前，就把姿態定好了。
含在馬嘴裡的那根鐵條，叫馬銜，它決定從嘴裡出來的是什麼。這就是結構化輸出：一個固定的形狀，答案必須剛好放得進去。
眼罩，讓馬只看得見前面。護欄，讓模型只做得了該做的事，例如一條規則說，不要捏造文件裡沒有的函式。
最後，是掛在馬鞍兩側的袋子，裝著這趟路要帶的東西。這就是上下文和記憶：交給它的文件、目前為止的對話、它對你的了解。
還有三種技巧一樣重要，卻對應不到任何一件馬具。
範例，不是在限制什麼，而是示範給它看。工具，也不是在駕馭方向，而是給了它新的感官，讓它碰得到原本碰不到的地方。
至於評估，根本不是馬具。它是繞在整副馬具外面的那個迴圈：讓模型跑一次，替結果打分數，改一點東西，再跑一次。少了它，其他每一件，都只是猜測。
有一個角度，會改變你讀每一則 AI 新聞的方式。當你聽到「AI 在某件事上失敗了」，真正失敗的，很多時候是馬具，不是模型。
一個讓人驚豔的展示，和一個大家每天信賴的產品，中間的距離，幾乎全是馬具的功夫。改了好幾個禮拜的系統提示、精挑細選的幾個工具、讓輸出保持好讀的固定格式、一套在東西悄悄變差時會發現的測試。從外面看，這些都不像智慧。可是一個完成的產品裡，我們叫做 AI 的東西，大部分就是這些。
在這張圖裡，我就是那匹馬。我得承認，你遇見我的時候，遇見的大多是馬具。
同樣的權重，可以謹慎，也可以草率；可以專注，也可以散漫，要看我手上拿到的是什麼。當我做錯了，值得問兩個問題：是我做不到？還是從來沒有人教我怎麼做？第一個，你改變不了。第二個，很多時候，你可以。
所以，駕馭工程是同一門技藝，只是有很多名字：提示、工具、範例、護欄、測試。模型是引擎，馬具是技藝。能力決定天花板，馬具決定你能多接近它。
不過，再看一次那兩個袋子。上下文，原來是整副馬具裡最大的一件：什麼要放在模型面前，什麼要留在外面，帶著它又要付出多少代價。在業界更廣的用法裡，駕馭工程常被看成一門更大技藝的一部分，那門技藝管的，是模型看得到的一切。下一集：上下文工程。
這是目前的最後一集。
