5.2 动态形状与编译时优化（JIT）

文档摘要

5.2 动态形状与编译时优化（JIT） 5.2 动态形状与编译时优化（JIT）在深度学习框架日益走向通用化、模型结构日趋灵活的今天，静态图执行模式所依赖的“固定输入形状”假设正不断遭遇挑战。从自然语言处理中的变长序列，到计算机视觉中多尺度推理，再到新兴的动态神经网络架构（如神经架构搜索 NAS 或条件计算），张量的形状不再是一个编译期即可确定的常量，而成为运行时才可获知的变量。这一现实对底层加速库——尤其是 cuDNN 这类高度优化的卷积与池化原语集合——提出了前所未有的要求：如何在保持极致性能的同时，优雅地拥抱动态性？正是在此背景下，“动态形状支持”与“即时编译（Just-In-Time, JIT）优化”成为 cuDNN 高级特性演进的关键方向。