大语言模型的事实性如何评估？

问一个大语言模型“珠穆朗玛峰有多高”，它能给出8848米的答案，但如果你追问一句“这个数据是哪一年测量的”，它可能会编造一个听起来煞有介事的年份。这正是评估大语言模型事实性的核心挑战：它既是一个博学的“记忆库”，又是一个极具创造力的“故事家”。如何将两者区分开，是当前AI评估领域最棘手的课题之一。

静态知识库的陷阱

早期的评估思路很直接：构建一个庞大的问答对数据库，比如“谁发明了电话？”对应“亚历山大·格拉汉姆·贝尔”，然后看模型的回答是否匹配。这方法听起来可靠，实则暗藏玄机。模型很可能只是“背诵”了训练数据中的句子模式，而非真正理解了事实。更麻烦的是，世界是动态的——去年某公司的CEO还是张三，今年可能就换成了李四。用静态快照去评估一个可能学习了最新数据的模型，就像用去年的地图找今年新开的路，难免会得出“模型在胡说”的错误结论。

事实不是孤岛

真正的难点在于，事实很少独立存在。它们相互关联，形成一张复杂的网络。评估单一事实点正确与否相对简单，但要评估模型对“事实网络”的理解，就完全是另一回事了。比如，模型知道“拿破仑死于1821年”，也知道“圣赫勒拿岛是拿破仑的流放地”。但如果它同时声称“拿破仑于1825年在圣赫勒拿岛去世”，这就暴露了它在事实关联和时序逻辑上的混乱。这种矛盾，在单点问答测试中很容易被遗漏。

从“对答案”到“测推理”

因此，前沿的评估方法正在从简单的“事实召回”转向复杂的“事实推理与一致性检验”。研究人员会设计多跳推理问题，比如“特斯拉CEO在2023年收购的那家社交媒体平台，其联合创始人中哪一位曾是奥运会运动员？”这要求模型串联多个事实，并验证其内在一致性。另一种策略是“对抗性探测”，故意询问一些容易诱发幻觉或矛盾的问题，观察模型是在谨慎检索知识，还是开始信口开河。

量化与基准的困境

为了标准化，学术界推出了像FACTS、TruthfulQA这样的基准测试套件。它们试图通过成千上万条涵盖科学、历史、常识等领域的题目，给模型的事实性“打分”。但问题又来了：这些基准本身能否做到绝对客观、无偏见且与时俱进？当模型在某个基准上获得高分，我们真的能放心地将其应用于医疗或法律咨询吗？恐怕不行。这分数更像是一次科目考试的成绩，而非对其综合知识可靠性的全面担保。

说到底，评估大语言模型的事实性，就像评估一位极其聪明但偶尔会记混细节的专家。我们需要的不是一份简单的是非判断题答卷，而是一套持续监测、多维验证的“体检系统”。毕竟，信任的建立，源于对其能力边界和失败模式的清晰认知，而非一个漂亮的分数。