5.3 特征匹配与应用

5.3 特征匹配与应用

本节摘要：SOURCE 8.1：BFMatcher、KNN+Lowe ratio、RANSAC 单应矩阵做全景拼接；应用含图像检索、SLAM 前端、物体识别。本节动手两图 SIFT 匹配 + findHomography 拼图。

上手前先明确

1. KNN 匹配与 ratio test 0.75
2. RANSAC 估计单应矩阵 H
3. warpPerspective 拼接全景

一、特征匹配

import cv2, numpy as np
img1 = cv2.imread('left.jpg', 0)
img2 = cv2.imread('right.jpg', 0)
sift = cv2.SIFT_create()
kp1, des1 = sift.detectAndCompute(img1, None)
kp2, des2 = sift.detectAndCompute(img2, None)
bf = cv2.BFMatcher()
matches = bf.knnMatch(des1, des2, k=2)
good = []
for m, n in matches:
    if m.distance < 0.75 * n.distance:  # Lowe ratio
        good.append(m)
​

二、RANSAC 单应

src_pts = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1,1,2)
dst_pts = np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1,1,2)
H, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
result = cv2.warpPerspective(img1, H, (img1.shape[1]+img2.shape[1], img1.shape[0]))
result[0:img2.shape[0], 0:img2.shape[1]] = img2
​

特征匹配应用链

特征匹配应用链

三、应用场景（SOURCE 8.2）

深度学习时代：传统特征仍用于无训练数据、嵌入式、与 DL 特征融合。

四、实验

1. 拍同场景两重叠照片，跑拼接 pipeline
2. 记录 good match 数与 ratio 0.6/0.75/0.9
3. RANSAC mask 内点率 <50% 时排查重叠区

⚠️ 常见坑：纯旋转场景用 Homography 近似可行；一般 3D 场景需基础矩阵 F。

💡 关键直觉：匹配链：检测 → 描述 → 匹配 → 几何验证 — ratio+RANSAC 滤误匹配。

核心回顾

• Lowe ratio 0.75 滤歧义匹配
• findHomography + RANSAC 鲁棒 H
• 拼接是特征应用标准 demo
• DL 未完全取代传统特征

教程完结 — 建议用自有照片完成一次 SIFT 全景拼接验收。

匹配的完整链路：检测、描述、匹配、几何验证

一次可靠的特征匹配不是"找最近邻"这么简单，而是一条四步链路。第一步检测：两张图分别提取关键点；第二步描述：给每个关键点算描述子；第三步匹配：用距离度量找对应关系（暴力匹配或 KNN）；第四步几何验证：用 RANSAC 从候选匹配中估计单应矩阵 H，同时剔除不符合几何约束的误匹配。前两步在第 5 节前两节完成，第三步靠距离，第四步靠几何——这是整套方法可靠性的保障。

import cv2, numpy as np
# KNN 匹配 + ratio test 过滤歧义匹配
sift = cv2.SIFT_create()
kp1, des1 = sift.detectAndCompute(img1, None)
kp2, des2 = sift.detectAndCompute(img2, None)
bf = cv2.BFMatcher()
raw = bf.knnMatch(des1, des2, k=2)
good = [m for m, n in raw if m.distance < 0.75 * n.distance]
# RANSAC 单应 + 内点掩膜
pts1 = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1,1,2)
pts2 = np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1,1,2)
H, mask = cv2.findHomography(pts1, pts2, cv2.RANSAC, 5.0)
inliers = sum(mask.ravel())
​

Lowe ratio test：过滤歧义匹配

暴力匹配会为每个描述子找到"最近邻"，但最近邻未必可靠——如果最近邻与次近邻距离接近，说明该点外观在图中不是唯一的，匹配结果有歧义。Lowe ratio test 就是检查最近邻与次近邻的距离比：比值小于 0.75 才接受，否则丢弃。0.75 是经验值：越小越严格（误匹配少但匹配总数也少），越大越宽松。在重复纹理（条纹、栅格、格子衫）场景，这个过滤尤其关键，因为这类场景最易产生歧义匹配。

RANSAC 与单应矩阵

即使 ratio test 过滤后，仍可能残留错误匹配。RANSAC 的思路：随机取 4 对点估计一个单应矩阵 H，统计多少对点符合这个 H（在允许误差内），迭代多次取内点数最多的模型。H 描述两张图之间的投影关系，适用于拍摄同一平面（文档、海报、地面、远处场景）的情况。一般 3D 场景（相机平移引起视差）严格需要基础矩阵 F 或本质矩阵 E。RANSAC 的工程价值：即使匹配中混有 30% 到 50% 的误匹配，也能稳定估计出正确模型并标注出哪些是内点。

应用全景：从拼图到 SLAM

特征匹配是众多高级视觉任务的地基：全景拼接（估计 H 后 warp 融合）、图像检索（描述子聚成视觉词典，量化后检索）、视觉 SLAM（帧间匹配估计位姿）、AR（在检测到平面的 H 上贴图）、物体识别（模板关键点匹配）。在深度学习时代，传统特征在"无训练数据、嵌入式实时、与深度学习特征融合"的场景仍不可替代。读完本节完成一次拼接验收，你就把全书"像素、增强、滤波、分割、特征"的流水线完整串起来了。

实验建议：拍两张重叠 30% 以上的照片（同一平面场景，如桌面或墙面），跑完整拼接流程；再把 ratio 从 0.6 调到 0.9，观察匹配数和拼接质量的权衡；最后打印 RANSAC 的内点率，理解"内点率过低说明重叠区域匹配质量差"。

一个常见陷阱提醒：纯旋转拍摄时单应矩阵适用，但相机大幅平移（近景大视差）时单应会失效，出现重影或扭曲——此时应换基础矩阵方案或用深度学习匹配方法。判断场景属于哪种情况，是选型的第一步。本节收官：特征匹配的完整能力意味着你已经具备"让两张图对话"的技能，这是图像检索、SLAM、三维重建等高级方向共同的起点。