稠密连接网络（DenseNet）

文档摘要

稠密连接网络（DenseNet） ResNet极大地改变了如何参数化深层网络中函数的观点。稠密连接网络（DenseNet） :cite: 在某种程度上是ResNet的逻辑扩展。让我们先从数学上了解一下。从ResNet到DenseNet 回想一下任意函数的泰勒展开式（Taylor expansion），它把这个函数分解成越来越高阶的项。在$x$接近0时， $$f(x) = f(0) + f'(0) x + \frac{f''(0)}{2!} x^2 + \frac{f'''(0)}{3!} x^3 + \ldots.$$ 同样，ResNet将函数展开为 $$f(\mathbf{x}) = \mathbf{x} + g(\mathbf{x}).