四校研究揭災難性過度訓練現象

顛覆傳統認知

增加更多預訓練數據，語言模型就會更好？四大名校團隊以實驗給出否定答案：過量預訓練可能導致後訓練階段性能下降，這一現象被命名為「災難性過度訓練」（Catastrophic Overtraining）。