2.3 数据转换与处理:清洗、切分与元数据抽取 本节摘要:Transformer 是摄取流水线的加工车间——清洗、切分、元数据抽取都在这里完成。本节比较三种主力切分器(SentenceSplitter / SentenceWindowNodeParser / SemanticSplitter)的机理与适用面,演示转换函数与自动元数据抽取器,最后给出一组可复用的对照实验方法,让你用自己的语料量测哪种切分最好。 会员。《2.3 数据转换与处理:清洗、切分与元数据抽取》收录于灏天文库文集《LlamaIndex》,原作者/来源:灏天文库,整理自「灏天文库」,提供技术教程、实践指南与问题解决方案,支持在线阅读、全文检索与知识沉淀,助力开发者系统化学习。本站整理收录,版权归原作者/开源协议所有。