2.2 内存管理机制：分层存储（Tiered Memory）与上下文窗口扩展

文档摘要

2.2 内存管理机制：分层存储（Tiered Memory）与上下文窗口扩展第二章：核心原理与架构设计 2.2 内存管理机制：分层存储（Tiered Memory）与上下文窗口扩展在大型语言模型（LLM）的演进历程中，我们始终面临着一个被业界戏称为“金鱼效应”的困境：无论模型参数如何膨胀，其原生上下文窗口（Context Window）始终是一个物理限制上的硬边界。即便从最初的 $4K$ 扩展到如今的 $128K$ 甚至 $1M$ 标记（Tokens），模型依然无法真正摆脱“无状态”的本质。一旦对话超限，最久远的记忆便会如烟云般消散。 Letta（其前身为 MemGPT）的出现，标志着我们从“增加模型窗口容量”的单向思维，转向了“构建外部存储架构”的系统工程思维。