DeepMind指主流AI框架存在捨入錯誤

問題內容

Jon Barron本周披露，Google DeepMind展示了一個存在於主流框架的問題：PyTorch、JAX以及各類教科書中的標準實現，均在同一處將某個數字捨入為零。

此一問題的影響與模型的置信度相關：模型越自信，正確的訓練信號反而越容易消失，優化器隨之失控，訓練曲線出現劇烈的震盪波動。

發現經過

這個隱藏於底層實現的問題由AI系統Gemini自行發現，人類僅負責事後的覆核與排版工作，屬於由AI找出問題、由人員覆核的分工。

該問題長期存在於被全球廣泛使用的開源框架與教科書標準公式之中，一直未被外界察覺，直至今次才被指出並對外公開展示，屬積存已久的隱藏缺陷。

後續影響

由於PyTorch與JAX均屬被廣泛使用的主流深度學習框架，教科書中的標準版本亦長期被教學與研究所採用，此錯誤的影響範圍橫跨模型訓練的多個環節。

修正方向涉及調整該演算法在各主流框架與教科書中的標準實現，以恢復正確的梯度信號傳播路徑，從而保障模型訓練的穩定性與可靠性。