Dolma

Dolma 是由 AI2 打造的高质量 3 万亿 Token 开源语料库，专为大语言模型（LLM）预训练设计。该数据集经过严格的质量过滤、去重与来源追踪，提供完整的元数据标注，有效降低版权风险并提升模型学习效果。适用于 OLMo 等基座模型训练、文本生成微调及多语言 NLP 研究，是构建高效、合规 AI 模型的优质基础资源。

## 数据集背景与来源 Dolma 是由美国人工智能研究所（Allen Institute for AI, AI2）团队研发并开源的大规模自然语言处理语料库。该数据集最初为训练 OLMo（Open Language Model）系列大模型而构建，旨在解决传统网络爬取数据中普遍存在的低质量内容泛滥、版权不明及重复冗余等问题。Dolma 采用先进的清洗流水线，整合了公开网页、学术文献、代码仓库及社交媒体等多源文本，致力于为全球研究者提供一个透明、可追溯且符合开放科学精神的高质量训练资源。 ## 数据规模与标注信息 - **数据体量**：总计约 3 万亿 Token，涵盖英文为主的多语言文本片段。 - **质量控制**：内置多层级过滤机制，剔除垃圾广告、机器生成内容及敏感违规文本；执行全局与局部去重策略，确保样本多样性。 - **来源标注**：每条数据均附带详细的元数据字段（Metadata），包括原始 URL、域名、内容类型（如新闻、博客、代码）、采集时间戳及预处理版本标识，便于研究者进行细粒度分析或定制化采样。 - **格式规范**：以 Parquet 和 JSONL 格式提供，结构清晰，兼容 Hugging Face `datasets` 库直接加载。 ## 典型应用场景 1. **LLM 预训练与增量训练**：作为基座模型的核心语料输入，显著提升大语言模型在常识推理、长文本理解及专业领域知识上的表现。 2. **模型对齐与指令微调**：结合高质量指令数据，用于优化模型的对话遵循能力与安全边界。 3. **NLP 算法研究与评测**：为文本分类、语义匹配、知识抽取等传统任务提供标准化基准测试集。 4. **多模态与代码大模型扩展**：其中的代码片段与技术文档可作为辅助语料，增强模型在编程与工程领域的泛化能力。 ## 使用注意事项 - **版权与合规性**：尽管 Dolma 已进行大规模清洗与脱敏，但部分数据来源仍受原始网站版权声明约束。商业部署前建议进行二次版权审查，并严格遵守各数据分区的 License 协议。 - **计算资源需求**：3T Token 级别的数据对存储与算力要求较高，建议在分布式训练环境（如 DeepSpeed、FSDP）下运行，并合理配置梯度累积与混合精度训练以优化显存占用。 - **数据分布偏差**：语料以英文互联网文本为主，中文及其他小语种比例相对有限。若需强化特定语言能力的模型，建议搭配针对性补充语料进行联合训练。 - **版本迭代管理**：AI2 会持续更新数据处理流水线，使用时请明确指定 Dataset Revision 或 Hash，以确保实验结果的可复现性。