切法

Claude Shannon
資訊是不確定性的減少——以位元度量,並刻意對意義保持沉默。

把資訊變成一個工程量。一切數位事物,包括大型語言模型,都建立在這道割捨之上。

A Mathematical Theory of Communication1948

張力

夏農 1948 年的切法,是一次刻意的割捨:把資訊定義為不確定性的減少,並拒絕對意義說任何一句話。正是這道拒絕,讓這套理論成為普世的——同一套數學,既承載電報的滴答、也承載 DNA 與模型權重。

它也留下了一個自此一直等待著的問題:意義是從哪裡回來的?大型語言模型讓它變得迫切。它們完全由夏農的資訊所打造,卻彷彿在交易著他當初擱在一旁的那樣東西。

它的位置

上游 · 下游

Theme
Language
Support
© funclosure 2025