budget allocation & eviction order
窗口满了,最直觉的做法是删最旧的消息——但这常常删错。该删的不是"最旧",是"最容易重新拿到"的。
上下文里每段信息都有两个属性:信息密度(单位 token 含多少有用信息)和可重建性(丢了能不能从别处再拿到)。驱逐优先级按可重建性排序:
下面是窗口里的 6 个成分。点它们按"该先丢→该最后留"排序(1 最该丢,6 最该留)。排完提交看对没。
窗口不是平均分给各成分的——按"信息密度×不可重建性"加权分配。一个 12 万 token 窗口的典型预算:
注意工具返回只给 15%——它最容易重新拿到(重跑工具),所以预算最少但优先驱逐。预算少 + 优先丢 = 给更该留的腾空间。