第一章：迁移学习与Fine-tuning概述

文档摘要

第一章：迁移学习与Fine-tuning概述第一章：迁移学习与Fine-tuning概述 1.1 什么是迁移学习 (Transfer Learning) 在传统的机器学习范式中，我们通常假设训练数据和测试数据是独立同分布的，并且它们都来自同一个特征空间。然而，在现实世界中，这种理想情况往往难以满足。例如，我们可能在一个任务上拥有大量标注数据，而在另一个相关任务上却只有少量数据，或者两个任务的数据分布存在差异。在这些场景下，从头开始训练一个新的模型不仅耗时耗力，而且由于数据稀缺可能导致模型性能不佳。迁移学习（Transfer Learning）正是为了解决这些挑战而应运而生的一种机器学习范式。