5.6 对比学习（Contrastive Learning）

文档摘要

5.6 对比学习（Contrastive Learning）第五章：大模型预训练领域 5.6 对比学习（Contrastive Learning） 5.6.1 对比学习的核心思想对比学习的核心思想源于人类的学习方式：通过比较和区分事物来学习概念。在机器学习中，对比学习模仿这一过程，旨在通过区分相似（positive）和不相似（negative）的样本对，让模型学习到能够区分这些样本的表征空间。其基本目标可以概括为：拉近相似样本的表征：对于语义上或特征上相似的样本，模型应该将其映射到表征空间中相近的位置。推远不相似样本的表征：对于语义上或特征上不相似的样本，模型应该将其映射到表征空间中远离的位置。