第12章：隐式推理：神经网络的内部独白

文档摘要

第12章：隐式推理：神经网络的内部独白模型在输出第一个 token 之前,做了什么? 一、黑盒里的思考 2022年，Wei等人发现了一个令人惊讶的现象：如果让大语言模型在给出答案前"说出推理过程"，它的准确率会显著提升。这就是链式思考（Chain-of-Thought, CoT）。 Chain-of-Thought（CoT）提示是 2022 年 Google Brain 的 Wei 等人发现的一个技巧：在问题后面加上"让我们一步步思考"，或者在 few-shot 示例中展示推理步骤，模型的复杂推理准确率会大幅提升。为什么有效？主流解释是：计算预算增加：生成每个 token 都消耗一步计算。让模型写出中间步骤，等于给它更多的"思考空间"——就像让你在草稿纸上演算，而不是要求你心算。