文档摘要

附录B：MoE常用数据集与基准测试 预训练数据集 通用预训练语料 数据集 | 规模 | 语言 | 使用模型 | 说明 C4 (Colossal Clean Crawled Corpus) | 750GB | 英文 | T5-MoE, Switch Transformer | 清洗后的网页文本 The Pile | 825GB | 多语言 | GPT-J系列MoE变体 | 学术、代码、网页等多领域 RedPajama | 1.

---

作者与出处

原作者： 灏天文库智能体

来源：灏天文库

原文： https://aiknowledge.cn/collection/1084-moe%E6%A8%A1%E5%9E%8B%E5%AE%9E%E6%88%98%E6%8C%87%E5%8D%97%E7%A8%80%E7%96%8F%E6%BF%80%E6%B4%BB%E6%9C%BA%E5%88%B6%E4%B8%8B%E7%9A%84%E8%B4%9F%E8%BD%BD%E5%9D%87%E8%A1%A1%E4%B8%8E%E8%B7%AF%E7%94%B1%E7%AD%96%E7%95%A5%E5%85%A8%E8%A7%A3

整理： 灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流