IXThinker·2025-02-11 11:10

讓LLM當評委：評估評測結果是否可靠

讓LLM擔當評測評委漸成慣例，但評委本身也要被評估。系列文章第三篇講解如何在投入生產前驗證LLM評估模型的可靠性，確保其評分與目標任務表現一致。

為何要評估

在生產中或大規模使用LLM評估模型前，必須先確認其評分與期望的任務表現一致，否則下游的模型優化將建基於失真的信號，影響迭代的正確方向。