章节摘要:本章跟着一份刚入库的"生谱"走完整备车间全部六道工序——先给噪声画像,再依次经过平滑去噪、小波滤波、基线校正两派手法、归一化标尺站,最后在导数工作站放大细节。每道工序都配有可复算的 Python 演练与参数选择的判断依据。
主线是一份近红外粉末样品谱图的"洗澡"过程。它刚从仪器上落盘:峰上叠着检测器的随机毛刺,峰下垫着一条缓缓起伏的斜坡(散射造成的基线),与三天前测的另一份同款样品相比整体高出两成(光源与装样差异)。如果直接拿它去和谱库比对,三项干扰会让匹配分数低得毫无意义。本章的六节就是六道工序:2.1 节先辨认毛刺是什么噪声、能压到什么程度;2.2 节给毛刺做手术(频域与小波);2.3 与 2.4 节拆除峰下的斜坡,一派手工(多项式拟合),一派自动(不对称最小二乘);2.5 节把不同批次档案拉到同一标尺;2.6 节用导数把叠在强峰肩上的小峰顶出来。整备完成后,这份档案才有资格进第 3 章的鉴定台。
工序的先后不是排座次好看。去噪放在基线校正前面,因为基线拟合要挑"无峰区域",噪声太大会让挑选失手;归一化放在最后,因为它的前提是"形状已经真实"——先归一化再去基线,等于把背景也按比例缩放进了指纹。2.6 节的导数永远压轴:它放大细节的同时也放大噪声,必须站在最干净的档案上出手。
第一站(2.1 噪声与平滑):噪声先分类再动手——白噪声靠平均压、闪烁噪声靠硬件躲。Savitzky-Golay 是平滑工位的头号手艺:窗口里拟合低阶多项式,去噪同时保住峰高。你会看到窗口从 5 拉到 31 时 RMSE 与峰高的拉锯战。
第二站(2.2 频域与小波去噪):把谱图变换到频率域,噪声与信号的"户口"分居高频与低频,设一道截止线就能分家;小波则给这道截止线装上"局部开关"——峰附近少滤、平坦区多滤。两种手法是平滑工位的升级选项。
第三站(2.3 多项式基线):选峰谷区域、拟合低阶多项式、整条减掉。阶数是最敏感的参数,阶数过低扣不平、过高会咬峰,代码里用四个阶数做了实测对比。
第四站(2.4 ALS 自动基线):不对称最小二乘让"平滑度"与"贴底程度"两个诉求在同一个目标函数里讨价还价,迭代几轮自动收敛。批处理几百条谱时,它是唯一现实的选择。
第五站(2.5 归一化与散射校正):最大值、面积、单位向量、SNV、MSC 五把标尺各有适用场景;标尺选错,比对与建模都会系统性跑偏。
第六站(2.6 导数光谱):一阶导数的过零点给峰位,二阶导的负谷把肩峰顶出来;代价是信噪比的大幅折损——你在 2.1 节压下去的噪声,在这里会被部分还回来。
本章的拐点在 2.4 节:当样品量大到无法人工挑基线点时,算法必须自己判断"哪里是峰、哪里是背景",而判断的代价是把人的先验换成两个超参数。从"人挑点、算法拟合"到"人调参、算法判断",是光谱处理从手工走向规模化的分水岭。另一个容易被低估的结论在 2.5 节:归一化不是"顺手做做"的美化步骤,它直接改变多元模型的变量权重,标尺选错等于把模型建立在不同度量衡的数据上。整备车间的总原则只有一句:每一道工序都要能回答"我在偿还采集端的哪笔债"——答不上来的工序,默认不做。
档案整备干净,第 3 章进鉴定台:第一件事就是把连续曲线翻译成"峰位-峰高-峰宽"的特征表(自动寻峰),然后才是比对与建模。你在本章练出的每个参数手感——窗口、阶数、阈值——在第 6 章的参数调优方法论里会系统地重新审视一遍。