螞蟻OmniTable獲數據庫頂會最佳論文
螞蟻集團研發的統一寬表系統OmniTable獲數據庫頂會工業賽道最佳論文。系統面向PB級大模型訓練語料,整合解析、清洗、去重、評分與樣本組裝全流程,已在其大模型訓練中規模化應用。
工程背景
訓練大模型之前,語料需經解析、清洗、去重、質量評分、標記化與樣本組裝。規模來到PB級,團隊每天面對的不止算力賬單,還有數百張表、不斷增加的特徵,以及少數異常數據就可能令整批任務重跑的風險。


IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
