文档摘要

附录B：MoE常用数据集与基准测试 预训练数据集 通用预训练语料 数据集 | 规模 | 语言 | 使用模型 | 说明 C4 (Colossal Clean Crawled Corpus) | 750GB | 英文 | T5-MoE, Switch Transformer | 清洗后的网页文本 The Pile | 825GB | 多语言 | GPT-J系列MoE变体 | 学术、代码、网页等多领域 RedPajama | 1.

---