IXThinker·2025-03-05 15:30

研究指LLM醫學答題準確 欠缺元認知能力

比利時魯汶大學Maxime Griot團隊發表論文，探討大語言模型在醫學領域的元認知能力。研究指LLM在醫學委員會考試中展現媲美專家的準確性，但在醫療決策中至關重要的元認知能力此前研究不足，團隊就此開發了MetaMedQA基準。

測試設計

MetaMedQA將置信度評分與元認知任務融入醫學選擇題中。研究人員從多個維度對12個模型進行評估，包括不同置信度下的答題準確性、識別缺失答案的能力，以及辨認未知問題的表現。