5.3.2 符号位隐藏（Sign Data Hiding）的演进

文档摘要

5.3.2 符号位隐藏（Sign Data Hiding）的演进符号位隐藏（Sign Data Hiding）——这个名字乍听之下像某种密码学魔术：不增一字、不改一帧，却在浮点数最不起眼的角落悄然塞进秘密；它不靠加密强度取胜，而凭“存在即合理”的隐蔽性立足于量化压缩的深水区。当模型参数从FP32压缩到INT8，当权重张量被逐层裁剪、归一化、饱和截断，工程师们早已习惯与量化误差搏斗，却鲜少意识到：那个被当作“冗余开关”处理的符号位（sign bit），其实是一扇尚未被充分叩响的门。这不是理论上的奇思妙想。2022年Meta在《LLM Quantization with Sign-Aware Embedding》中首次将符号位作为可承载信息的信道纳入训练感知量化（TSQ）框架；