第5章：拟合的陷阱——统计相关性不是推理

文档摘要

第5章：拟合的陷阱——统计相关性不是推理模型见过一百万只猫之后,它知道猫是什么吗? 一、一个让人不安的实验 2021年,Bender等人发表了一篇论文,标题很直白:《论随机鹦鹉的危险》(On the Dangers of Stochastic Parrots)。这个标题不是比喻,是诊断。论文的核心论点是:大型语言模型,无论训练在多少文本上,本质上都是在做统计模式匹配——它们学会了哪些词序列在训练语料里经常一起出现,然后在生成时复现这些模式。就像一只鹦鹉,听到了足够多的对话之后,能够在合适的时机说出”你好”或”再见”,但它不理解这些词的意义。这个比喻很刺耳,因为它触及了一个更深的问题:统计相关性和因果理解之间,有一道鸿沟。让我给你看一个更具体的例子。