IXThinker·2025-05-27 11:40

用戶級差分私隱下微調大模型的算法改進

微調能讓大模型適配特定領域以達最佳性能，但訓練數據往往含隱私敏感資訊。相關研究改進在用戶級差分私隱（User-level DP）約束下微調大型模型的算法，相比只保護單一樣本的例級DP，提供更強的私隱保障。

例級DP局限

傳統差分私隱（DP）在訓練過程注入噪聲，確保模型不洩露訓練數據的私隱，但主要關注單個樣本（例級DP）。若某用戶提供了大量數據，攻擊者仍可能從模型推斷出有關該用戶的資訊，即使無法取得具體樣本的細節。