2022
LLM 真的理解嗎?
切法
Emily Bender 2021
它是一隻隨機鸚鵡——有形式而無意義,無論多麼令人信服。On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?2021
Yann LeCun 2022
只靠文字訓練的模型,正駛上一條偏離智能的匝道——沒有世界模型、沒有接地、無從規劃。A Path Towards Autonomous Machine Intelligence2022
要把自動補全做到那麼好,它就非理解不可。穿過世界,沒有捷徑。The risks and promise of AI, according to Geoffrey Hinton (60 Minutes interview)2023
Ilya Sutskever 2023
要預測下一個 token,你就必須理解產生它的那個現實。要把損失壓下去,別無他法。Ilya Sutskever (OpenAI Chief Scientist) - Building AGI, Alignment, & Future Models2023
John Vervaeke 2019
理解是參與性的,不只是命題性的。你之所以掌握一樣東西,是因為它攫住了你——你在乎、你應對、你在一個世界裡有所牽繫——而不是靠預測關於它的下一個 token。一個系統可以握有全部的命題,卻依然不曾與之接觸。
把「理解」分成不同種類:LLM 或許擁有的命題性認識,對比於那需要一個身處世界之中的認識者的視角性與參與性認識。
Awakening from the Meaning Crisis2019
會——而且是關係性的。理解需要兩方。那些一面否認模型能理解、一面又倚賴它們領會自己的意思並遵循指示的人,是在採用雙重標準;所謂「真正的理解」與「僅僅像是理解」之間的鴻溝,是一項形上學假設,而非一項觀察。
把爭論從「模型有或沒有某種性質」,移轉到「我們早已置身其中的一種關係」——並指出那份否認是雙重標準。
Do Large Language Models Understand Us?2022