2.3 数据转换（Data Transformers）与处理

文档摘要

2.3 数据转换（Data Transformers）与处理 2.3 数据转换与处理：炼石成金的艺术在构建基于大语言模型（LLM）的智能应用，尤其是以检索增强生成（RAG）为核心的系统时，我们常常惊叹于模型生成文本的流畅与智慧。然而，正如一座宏伟建筑的基石，决定其最终高度与稳固性的，往往是深埋于地表之下、不为人见的结构工程。在LlamaIndex的整体框架中，数据转换与处理正是这样一项关键的“地基工程”。它并非简单的数据清洗或格式调整，而是一门将原始、异构、非结构化的“数据矿石”精炼成可供LLM高效、精准消费的“知识金块”的精妙艺术。本章将摒弃对工具的浅层罗列，以研究者的视角，深入LlamaIndex数据流水线的核心腹地，系统性地剖析数据转换的内在机理、技术实现与前沿演进。