有毒子詞剪枝令大模型說不出穢語
香港中文大學等團隊發表ToxPrune毒性剪枝方法,毋須訓練、毋須改動模型權重,只在推理階段從BPE詞表移除有毒子詞,便能大幅抑制大模型輸出穢語。實測毒性評分由零點八九跌至零點一三,對話質素不跌反升。
從詞表根除毒性
不用訓練,不改權重,只動詞表就能給大模型消毒?研究團隊做到了。ToxPrune在推理階段直接把有毒子詞從BPE詞表中連根拔除,讓模型在物理層面上說不出髒話,屬於釜底抽薪式的干預。

IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
