2.3 数据转换与处理:清洗、切分与元数据抽取


文档摘要

2.3 数据转换与处理:清洗、切分与元数据抽取 本节摘要:Transformer 是摄取流水线的加工车间——清洗、切分、元数据抽取都在这里完成。本节比较三种主力切分器(SentenceSplitter / SentenceWindowNodeParser / SemanticSplitter)的机理与适用面,演示转换函数与自动元数据抽取器,最后给出一组可复用的对照实验方法,让你用自己的语料量测哪种切分最好。 会员。《2.3 数据转换与处理:清洗、切分与元数据抽取》收录于灏天文库文集《LlamaIndex》,原作者/来源:灏天文库,整理自「灏天文库」,提供技术教程、实践指南与问题解决方案,支持在线阅读、全文检索与知识沉淀,助力开发者系统化学习。本站整理收录,版权归原作者/开源协议所有。

该文档为会员专享,请先登录或注册后再查看


作者与出处
原作者: 灏天文库
来源:灏天文库
整理: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U