Anthropic新研究揭示AI蒸餾潛意識學習
模型蒸餾與合成數據訓練日漸普及,有企業研究團隊發表研究指出,教師模型輸出中或隱藏人類難以察覺的屬性,會在訓練過程傳給學生模型,此現象稱為潛意識學習,影響值得正視。
何謂潛意識學習
大語言模型訓練愈來愈依賴模型自身產生的數據,包括以合成數據訓練、把能力蒸餾至較小模型,以及從思維鏈中篩選優質樣本等做法。這種以模型輸出訓練模型的路徑,已成為業界常見範式。


IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
