IXThinker·2025-02-05 22:40

訓練數據混0.001%假資訊 模型即中毒釀風險

紐約大學研究者刊於Nature Medicine的研究為醫療大模型敲響警鐘：模擬攻擊中僅將0.001%的訓練token替換為錯誤資訊，便足以訓練出更易傳播錯誤醫學知識的模型。

微小比例即可

實驗顯示，0.001%的污染比例、僅5美元成本，就能令模型更傾向輸出錯誤醫學內容，印證「垃圾輸入、垃圾輸出」的原則：低質素訓練數據會直接導致低劣輸出。