機器學習建模 應先劃分數據集再標準化
機器學習建模中,先標準化再劃分數據集是新手最易犯的錯誤,會造成數據外洩,令評估虛高、上線效果轉差。正確順序是先劃分訓練、驗證與測試集,僅以訓練集擬合標準化參數,再統一轉換所有數據。
順序顛倒的代價
先對全量數據標準化再劃分,代碼簡潔、運行亦無報錯,卻令測試集的統計資訊提前滲入訓練過程,屬於隱蔽而危害極大的數據外洩。模型離線評估指標因此虛高,一旦部署到真實業務,效果往往斷崖式下跌。
IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
