3.3.3 预训练与微调 (Pre-training and Fine-tuning)

文档摘要

3.3.3 预训练与微调 (Pre-training and Fine-tuning) 3.3.3 预训练与微调 (Pre-training and Fine-tuning) 在深入探讨大型模型技术的奇妙世界时，我们已经了解了 Transformer 架构这一构建现代人工智能基石的关键组件。现在，我们将聚焦于一个至关重要的概念，它使得这些庞大的模型能够如此有效地理解和生成人类语言，并在各种任务中表现出色——这就是预训练 (Pre-training) 与微调 (Fine-tuning)。预训练和微调是训练现代大型语言模型（LLMs）的核心范式。