第2章 大模型的能力 2.1 概述 在本次课程中,我们将深入探讨GPT-3——这个具有代表性的大型语言模型的能力。我们的研究主要基于GPT-3论文中的基准测试,这些测试包括: 标准的自然语言处理(NLP)基准测试,例如问题回答; 一些特殊的一次性演示,例如在句子中使用新词。 对比每个任务的最新技术成果,我们发现GPT-3的结果参差不齐: 在某些任务上,比如语言建模,GPT-3大幅度超越了现有技术的最高水平; 在其他任务上,GPT-3与训练有素,拥有大量标签数据的系统竞争时,却明显落后。 对于这些结果,我们应如何理解呢? 首先,我们需要明白,GPT-3并未明确针对这些任务进行训练,它只是作为一个语言模型,被训练来预测下一个词。