4.1 数值表示与精度损失

文档摘要

4.1 数值表示与精度损失 4.1 数值表示与精度损失：低精度推理的数学地基与工程边界当我们谈论TensorRT加速推理时，常有人将它想象成一台高速运转的精密引擎——CUDA核心是活塞，张量核是曲轴，内存带宽是供油管路。但若追问一句：这台引擎真正燃烧的“燃料”是什么？答案并非数据本身，而是数据在硬件中被如何编码、解释与运算的数值语义。FP32浮点数不是“真实数字”的复刻，INT8整数亦非粗暴的截断；它们是一套套精心设计的有限符号系统，在硅基世界里以离散比特模拟连续数学。而精度损失，从来不是计算失误的副产品，而是这种模拟必然付出的本体论代价——它根植于数值表示的内在结构，受制于硬件物理约束，并在模型语义空间中引发涟漪式的误差传播。因此，“4.