nanochat 数据处理完全指南

文档摘要

nanochat 数据处理完全指南本文档详细介绍 nanochat 项目的数据处理流程，适合初学者阅读。数据源说明本项目针对不同地区用户提供了优化的数据访问方案：国内版（推荐）预训练数据：使用 ModelScope 平台的 FineWeb-Edu 数据集（ModelScope）优势：国内访问速度快、稳定性高、无需特殊网络配置配置：项目已默认使用国内源，无需额外设置国际版预训练数据：使用 HuggingFace 原始数据集 FineWeb-Edu 原始数据集适用：海外用户或需要访问原始数据源配置：需要修改中的数据源配置目录数据处理概览数据类型与来源数据处理流程详细操作步骤数据处理技术细节数据检查工具集数据格式说明数据量计算常见问题解答数据处理概览