文档摘要

深度学习 深度学习把非线性层堆叠起来，构建层次化的表示，自动把原始输入转换成有用的特征。本文件涵盖 MLP、激活函数、反向传播、CNN、RNN、LSTM、注意力、Transformer、GAN、VAE、扩散模型以及归一化技术。 是什么让一个网络变"深"？浅层网络只有一个隐藏层；深层网络有很多层。深度让网络能够构建层次化的表示：靠前的层学到简单特征（边缘、色调），靠后的层把它们组合成复杂概念（人脸、句子）。正是这种组合性赋予了深度学习力量。 最简单的深度网络是多层感知机（multi-layer perceptron, MLP），也叫全连接网络或稠密网络。

---