6.1 上下文扩展技术

文档摘要

6.1 上下文扩展技术 6.1 上下文扩展技术在大语言模型（LLM）的推理生态中，上下文窗口长度往往被视为衡量模型“智慧广度”的关键指标。它不仅决定了模型能够“记住”多少历史对话，更直接关系到长文档摘要、代码库分析以及复杂多步推理等高阶任务的成败。然而，模型在预训练阶段所设定的上下文长度，受限于算力成本与数据构造的难度，往往难以满足实际应用中无限制的上下文需求。在 Llama.cpp 这一极致优化的推理框架中，如何在不重新训练模型的前提下，突破这一硬性物理限制，实现上下文的有效扩展，便成为了一个极具技术挑战与实用价值的课题。本章我们将深入探讨 Llama.cpp 赋予模型“长记忆”的核心技术——上下文扩展，剖析其背后的数学原理、算法演进以及在工程实现上的精妙之处。 6.1.