3.3 跨分量预测与帧内辅助工具


3.3 跨分量预测与帧内辅助工具

本节摘要:前两节都在亮度通道里打转,本节换一个维度找相关——色度与亮度的强耦合。CCLM(跨分量线性模型)用"亮度重建值线性外推色度预测"把这块长期被浪费的相关性捡起来,DM(直接模式)则让色度复用亮度的模式决策。两者加上3.1节的辅助工具,构成帧内工具箱的最后一层。本节还讲清各工具的配合与失效边界。

第3章走到最后一站:3.1扩了方向,3.2换了引擎,本节跨颜色通道。之后所有预测残差(亮度与色度的)将一起进入第5章的变换与量化。

为什么跨分量有利可图

4:2:0采样下,色度像素只有亮度的四分之一,但传统编码里色度预测基本是"亮度怎么干我就怎么干"——亮度用角度18,色度也用角度18(这就是老DM模式)。浪费在于:图像的物理成因决定了色度与亮度高度相关。肤色、草地、蓝天,亮度变化的地方色度大概率同步变化;很多内容里色度干脆近似亮度的线性函数。

CCLM(Cross-Component Linear Model)把这个物理直觉变成语法:对当前色度块,取相邻的色度重建样点与其对应位置的亮度重建样点,拟合一条直线(斜率加截距两个参数),然后用整块的亮度重建值线性外出色度预测。参数从邻域现场推导,几乎不占码率——这是它性价比极高的根源。

细节上VVC提供了三种邻域取点方案(左邻、上邻、左上合并),取点数量随块尺寸固定(典型为四点以上),拟合用简化的整数运算完成。编码器只需传一个模式标志表明"这是CCLM"以及取哪个方向,斜率截距全部解码端自行推导。

DM模式与联合决策

CCLM之外,色度预测还有传统选项:Planar、DC、角度模式、DM(直接模式——色度套用亮度的模式号)。VVC新增了联合色度残差编码的思路延伸:允许两色度分量共用一套模式决策与更紧凑的残差组织,减少色度语法的小额开销。

色度模式 机制 擅长内容 弱点
DM直接模式 套用亮度模式号 亮度色度结构一致的大多数内容 亮度最优不等于色度最优
CCLM线性模型 亮度值线性外推 亮度-色度强相关的自然内容 低相关内容(彩色字幕、霓虹)失准
Planar/DC/角度 独立预测 平坦色块、强方向色边 语法开销略大

💡 读日志的直觉:编码器统计里CCLM命中率高的序列,几乎都是自然视频;屏幕内容里彩色文字、图标大量出现时CCLM命中率骤降——因为人造配色常常"亮度无关"。这再次呼应第1.3节的判断:工具收益是内容函数,不是常数。

一个完整案例:人脸区域的帧内编码旅程

把本章三个工具串在一块真实素材上。素材:1080p视频里一张侧脸特写,某帧为I帧(整帧帧内),一个32×32的CU覆盖颧骨到发际线的过渡区。

背景(为什么难):这块内容同时有平滑皮肤(渐变)、发丝(细密纹理)、发际线(强边缘)三种统计,单一预测模式顾此失彼。HEVC时代这种块往往要切到16×16甚至8×8分别处理,划分开销大。

操作(VVC怎么打)

  1. 划分搜索先试QTMT切法,发现垂直BT切成32×14(发区)与32×18(皮肤区)后各自统计变纯;
  2. 发区子块:MRL启用第二参考行(紧邻的发际振铃被跳过),配合角度模式沿发丝方向预测;
  3. 皮肤子块:Planar加PDPC修正渐变,残差极小;
  4. 色度:两子块都选CCLM——肤色区域亮度与色度高度线性,斜率拟合几乎完美;
  5. 若发区出现规则纹理(编织帽之类),MIP还会进场竞争。

结果:这块CU的亮度残差能量比HEVC方形块方案低一大截,色度残差接近于零,RD代价显著更优。解读:VVC帧内增益不是某个单一"杀手工具",而是"划分自由(第2章)+ 方向与参考自由(3.1)+ 模型化预测(3.2)+ 跨分量(3.3)"的乘法效应。变式:把素材换成夜间噪点浓重的手持拍摄,MRL与CCLM的收益都会缩水(噪点破坏相关性),编码器会自动退回基础模式——好标准不强迫工具生效,只提供菜单。

工具配合图与失效边界收束

本章工具不是并列的开关,而是有明确的适用光谱:

内容结构性由弱到强 → 噪点纹理 自然渐变 一般纹理 规则纹理/图形 纯屏幕内容 ──────────┬──────────┬──────────┬──────────────┬────────────── Planar/DC 角度+PDPC 65方向+MRL MIP登场 IBC/调色板 (基础模式) (平滑修正) (方向细查) (矩阵模型) (第7章主场) CCLM全程待命(自然内容) ISP在强方向块内接力

两端是"基础模式"与"第7章专用工具"的地盘,中间三档正是第3章工具的势力范围。记住这条光谱,你就知道每个工具出厂时是为谁设计的。

两问两答

问:CCLM失效时编码器怎么"知道"?
靠RD搜索兜底——CCLM只是色度模式候选之一,与DM、Planar、DC同台打分。拟合失准的块上CCLM的失真项自然劣化,RD自动淘汰它。工具永不"硬开",这是VVC工具治理的通则(本章与第7章反复印证)。

问:色度工具在整个码率里占比多大,值得花一章笔墨吗?
4:2:0下色度像素只有亮度四分之一、码率占比通常在一到两成——但色度伪影(肤色漂移、色边)的主观杀伤力远超其码率占比。CCLM这类近零信令成本的色度工具,是"小投入保大观感"的典型,理解它的价值要靠主观质量轴而不是码率轴。

本节要点回顾

  • CCLM零码率建模:斜率截距解码端从邻域现场推导,只传模式标志,自然内容色度收益显著;
  • DM仍是主力:色度套用亮度决策在大多数内容上够用,CCLM是强相关场景的特种兵;
  • 失效边界清晰:人造配色、彩色字幕等"亮度无关"内容是CCLM的天敌;
  • 增益是乘法效应:划分自由、方向自由、模型预测、跨分量四层相乘,单看任何一项都不惊人;
  • 好标准只提供菜单:RD搜索决定工具开闭,内容不合适时自动退回基础模式。

作者与出处
原作者: 灏天文库
来源:灏天文库
整理: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U