IXThinker·2025-07-26 01:40

保護私隱的合成數據 助LLM適配手機應用

語言模型的訓練離不開大量數據，但用戶交互數據涉及私隱。一項工作提出以私隱保護的合成數據結合聯邦學習，改進大小型語言模型，並已在實際產品中驗證。

訓練範式的私隱難題

當前機器學習通常採用在海量網絡數據預訓練、再以小規模高質量數據微調的範式。微調助大型模型對齊用戶意圖；領域適配亦令小型模型在移動輸入應用的關鍵指標提升3%至13%。