番外篇：暗线

文档摘要

番外篇：暗线这本书有一条从未被明说的线。现在是时候把它说出来了。一、那面墙第三章，词向量做了一件神奇的事：国王减男人等于女王。这是联想，不是推理。但当时我们没有说清楚区别。第五章说了：统计相关不是推理。模型见过一百万只猫，不代表它知道猫是什么。但我们只是指出了这个问题，没有说它从哪里来。第六章给出了do算子。Pearl说：观测永远不够，你需要干预。切断因果图的入边，强制某个变量取值，然后重新推断——这才是因果推断，不是条件期望。第九章番外篇发现：自注意力在数学上等价于霍普菲尔德联想记忆的一步检索。从1982年到2024年，整条谱系——经典Hopfield、现代Hopfield、自注意力、线性注意力、SSM——做的都是同一件事：给定查询，在记忆库里找最相关的内容，归一化加权返回。