IXThinker·2025-12-18 14:00

一行代碼串流加載數據集 效率提升百倍

只需一行代碼即可串流加載數據集：毋須下載、不佔磁碟，TB級數據可即時開始訓練。經優化的流式系統在大規模並發環境下，速度甚至超過本地SSD，效率顯著提升。

用法極簡

透過load_dataset的streaming參數即可啟用串流加載，毋須複雜配置，也不必再擔心磁碟已滿或請求過多的429錯誤，對處理TB級別數據的訓練流程是直接的改善。