2.4.1 灾难性遗忘（Catastrophic Forgetting）问题与缓解方法

文档摘要

2.4.1 灾难性遗忘（Catastrophic Forgetting）问题与缓解方法 2.4.1 灾难性遗忘：记忆的沙漏，智能的挑战在模型微调的浩瀚星空中，我们驾驭着预训练模型的强大力量，试图赋予它们新的技能，让它们在特定的任务领域中绽放更耀眼的光芒。然而，如同宇宙中潜藏着各种未知的引力，微调过程也并非一帆风顺。当我们兴致勃勃地向模型灌输新知识时，一个潜伏已久的幽灵——灾难性遗忘 (Catastrophic Forgetting)，可能会悄然降临，吞噬模型曾经掌握的宝贵记忆。想象一下，你是一位语言大师，精通多种语言。突然，你开始学习一门全新的语言，投入大量精力刻苦钻研。令人沮丧的是，随着新语言的深入学习，你发现自己曾经流利的母语开始变得生疏，词汇量锐减，语法也变得模糊不清。