随着大模型的日益普及,批判性地检查其固有的局限性也日益重要。幻觉是大模型最常见的问题之一,我们是否可能通过改进大模型去减少或阻止幻觉的产生?United We Care 的三名研究人员在预印本平台 arXiv 上发表研究报告,他们从数学上证明,幻觉是不可避免地,也是不可能消除的。幻觉源自大模型的数学和逻辑结构,不可能通过改进架构、增强数据集或事实核查机制消除。根据哥德尔的第一不完备定理,研究人员证明大模型的每一个阶段,从训练数据搜集到事实检索、意图分类和文本生成,每个阶段产生幻觉的几率都不是零。
https://arxiv.org/abs/2409.05746