IXThinker·2025-07-05 13:50

LeCun團隊揭示LLM語義壓縮：統計壓縮犧牲細節

人類能把蘋果、香蕉自覺歸類為水果，即使初見「火龍果」也能推斷類別，這種語義壓縮能力幫助我們高效組織知識。圖靈獎得主LeCun團隊提出全新信息論框架，揭示人類與大語言模型在語義壓縮策略上的根本差異。

人類的語義壓縮

讀到「蘋果」「香蕉」「西瓜」，儘管顏色、形狀、味道各異，人們仍會下意識歸類為水果；哪怕第一次見到「火龍果」，也能憑語義線索判斷它大概也是水果。這種能力令人類高效組織知識、迅速為世界分類。