资源描述
RedPajama-Data-v2 是由 Together Computer 发布的超大规模开源预训练语料库，覆盖网页、书籍、代码、学术论文等多源文本，经去重、质量过滤与有害内容剔除，总规模超 30 万亿 Token。专为训练高性能开源大语言模型（LLM）设计，支持研究者与开发者构建可复现、可审计的基础模型，显著提升模型在推理、代码生成与多语言理解等任务上的泛化能力。
详细内容
# RedPajama-Data-v2 数据集详细介绍
## 数据集背景与来源
RedPajama-Data-v2 是 Together Computer 继 RedPajama-1.0 后推出的第二代开源预训练数据集，旨在提供高质量、透明、可复现的大语言模型训练语料。其原始数据来源于 Common Crawl（2023 年多个快照）、Wikipedia（多语言）、GitHub（Apache/MIT/BSD 许可代码）、arXiv、Stack Exchange、OpenSubtitles 等公开可信源，并严格遵循各来源的许可协议与版权要求。
## 数据规模与标注信息
- **总规模**：约 30.4 万亿（30.4T）Token（基于 `llama_tokenizer` 分词统计）；
- **构成比例**（近似）：Web（65%）、Code（12%）、Books（8%）、ArXiv（6%）、Wikipedia（5%）、StackExchange（4%）；
- **清洗流程**：包含文档级去重（SimHash + MinHash）、语言识别（fasttext）、质量评分（基于 perplexity 和 heuristics 过滤低质/机器生成文本）、敏感/有害内容过滤（基于规则与轻量分类器）；
- **格式**：以 Apache Parquet 分片存储，每文件含 `text`, `url`, `timestamp`, `source`, `language`, `score` 等字段，支持高效随机访问与流式加载；
- **元数据完备性**：所有样本均附带来源标识与基础质量分（0–1），便于按需采样或加权训练。
## 典型应用场景
- 训练开源基础大语言模型（如 Llama、Phi、Qwen 等架构的复现与微调）；
- 构建领域适配语料（如通过 `source` 字段筛选 GitHub 代码或 arXiv 论文子集）；
- 语言模型数据质量评估与偏差分析（利用 `language`, `score`, `url` 等字段开展溯源研究）；
- 预训练数据工程实践（如分词器兼容性测试、长文本截断策略验证）。
## 使用注意事项
- **许可证合规**：虽数据集本身以 Apache 2.0 发布，但原始内容版权归属各自来源方，请在下游应用中遵守对应许可（尤其 GitHub 代码需确认具体 LICENSE 文件）；
- **非直接可用文本**：需配合 tokenizer（推荐使用 `meta-llama/LlamaTokenizer` 或 `mistralai/Mistral-7B-v0.1` 对应分词器）进行预处理；
- **存储与带宽**：全量数据压缩后约 12 TB（未解压 Parquet），建议使用 `datasets` 库的 `streaming=True` 模式加载以降低内存压力；
- **版本差异**：v2 相比 v1 显著提升了代码与学术文本比例，并优化了网页去噪逻辑，不建议混用两版数据；
- **引用规范**：请引用官方 GitHub 仓库及配套技术报告（[RedPajama-Data v2 Technical Report](https://github.com/togethercomputer/RedPajama-Data/blob/main/v2/TECHNICAL_REPORT.md)）。