3.3 优化器与损失函数

文档摘要

3.3 优化器与损失函数在CV（计算机视觉）和NLP（自然语言处理）的面试中，关于优化器和损失函数的考察，可不仅仅是问你概念那么简单，更多的是考察你对它们背后原理的理解，以及在实际问题中如何选择、如何调优。所以，这本练习手册，就是为了让你在面试中能对答如流，甚至让面试官对你刮目相看！ 3.3 优化器与损失函数：深度学习的“阴阳调和”之道缘起：为何我们需要“优化器”与“损失函数”？想象一下，你正在训练一个深度学习模型，就像在教一个孩子学习。这个孩子（模型）一开始什么都不懂，它会胡乱猜测（随机初始化权重）。我们需要一个“老师”来告诉它，它的猜测是对是错，错得有多离谱，以及该如何改进。这里的“老师”，就是我们的损失函数（Loss Function）和优化器（Optimizer）。