4.2.2 知识蒸馏（Knowledge Distillation）在 OpenVINO 中的应用

文档摘要

4.2.2 知识蒸馏（Knowledge Distillation）在 OpenVINO 中的应用在边缘智能的战场上，模型压缩从来不是一道选择题——而是一场与功耗、延迟、内存带宽和精度之间的精密博弈。当我们在OpenVINO™ Toolkit的命令行中敲下那一刻，我们调用的不仅是模型优化器（Model Optimizer），更是英特尔为异构推理引擎铺设的一条“认知高速公路”。但若这条路的起点是一座庞大臃肿的教师模型——比如参数量达27M、FP32推理需42ms（i5-1135G7）的YOLOv8x，而终点却是一台部署在工业网关上的低功耗Jasper Lake N100（TDP仅6W），那么单靠静态图融合、算子融合与INT8量化，已难以跨越精度塌陷与推理抖动的双重断崖。