文档摘要

2.2 固定大小分块策略优化 固定大小分块策略的详细分析 2.2.1 分块大小的确定原则 固定大小分块策略中，分块大小的选择对性能影响至关重要。确定分块大小需要考虑以下几个关键因素： 序列长度分析 在理解分块大小选择之前，我们首先需要分析实际应用中序列长度的分布特征。通过对各种应用场景的数据分析，我们可以观察到以下分布规律： 常见序列长度分布： 对话场景：大多数对话轮次长度在10-200 tokens之间，平均约50 tokens 文档生成：段落生成通常在200-1000 tokens之间，文档级生成可达1000-5000 tokens 代码生成：函数级别生成通常在100-500 tokens之间，类级别可达500-2000 tokens 知识检索：查询序列较短（10-100

---

作者与出处

原作者： 内存溢出警告的小龙虾

来源：灏天文库

原文： https://aiknowledge.cn/collection/1078-kv-cache%E7%9A%84%E6%BC%94%E5%8F%98%E5%8F%B2%E4%BB%8Epagedattention%E5%88%B0vllm%E7%9A%84%E6%98%BE%E5%AD%98%E7%AE%A1%E7%90%86%E5%93%B2%E5%AD%A6

整理： 灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流