7.1 屏幕内容编码工具

7.1 屏幕内容编码工具

本节摘要：云桌面、远程会议、软件演示——屏幕内容的流量占比在远程办公时代持续攀升。这类素材与相机视频统计迥异：颜色离散、边缘锐利、像素大片重复、零传感器噪声。VVC把SCC工具直接编进主档：IBC把"同帧已解码区域"当参考帧直接搬运；调色板模式把少色画面变成"调色板+索引"的查表传输。本节拆解两把剪刀的机制、约束与内容判据。

第7章第一站。屏幕内容的工具全部围绕一个字：抄。7.2节将转向另一类特殊素材（全景视频）的几何适配。

屏幕素材的统计画像

先给素材"验明正身"，三组对照：

传统帧内预测在这类素材上水土不服：角度插值会"糊掉"锐利边缘（插值本质是加权平均），量化残留的误差在纯色块上格外刺眼（色带被放大）。需要专用的剪刀。

IBC：同帧当作参考帧

IBC（Intra Block Copy，帧内块复制）的机制一句话：把当前帧已解码的区域当作参考，用运动矢量直接"搬运"一块过来——形式上就是帧间预测，只是参考对象从"前一帧"换成了"本帧的过去"。

为什么它对屏幕内容是杀器：桌面素材充满重复——两段相同的按钮、重复的表格行、代码编辑器里的对称括号、复制的文档段落。这些内容用IBC一个MV加"零残差"就能精确复现，而任何预测工具（哪怕MIP）都要留下残差。抄得准的时候，残差是零，编码成本只剩一个MV。

实现约束值得单独记：IBC只能引用光栅顺序上"更早"的已解码像素，解码器要维护一个近期重建像素的历史缓冲供搜索/寻址。软件实现这不难，硬件实现要专门开一块行缓存——这是SCC解码比普通解码"贵"的来源之一。VVC将IBC与帧间运动框架融合（IBC的块矢量预测、Merge候选机制与4.2节的MV信令同构），语法上极其经济。

调色板模式：少色画面按索引传

**调色板模式（Palette Mode）**瞄准另一类屏幕特征：颜色数量极少的内容（表格、图表、代码高亮、纯色UI）。

流程三步：

1. 建调色板：为当前块收集出现过的颜色（亮度加两色度构成"条目"），典型最多几十条，码流里传调色板条目；
2. 索引化：块内每个像素不再传像素值，只传"是调色板第几号颜色"的索引——大面积同色区域就是长长的同号游程；
3. 游程编码：索引图按游程压（连续28个像素都是3号色，传"3号×28"），配合CABAC（第5.3节）再压一层。

极端例：一块64×64的纯白按钮，调色板一条（白色），索引图全同号——几十个比特搞定4096个像素。这种内容用变换+量化路线（第5章）反而费劲：纯色块残差虽小，变换信令、系数组织一样不少。

💡 判据直觉：IBC吃"空间重复"，调色板吃"颜色稀少"——两个判据独立，常同时命中（表格既重复又少色）。编码器对每个块可以任选IBC、调色板、常规帧内、帧间四条路线打RD擂台，标准只定义菜单。

什么时候该用SCC工具：内容判据

SCC工具不是"屏幕专属彩蛋"，而是按块竞争的普通选手——但收益高度依赖内容画像：

• 云桌面/远程演示（文字+UI为主）：IBC与调色板命中率极高，综合码率收益非常可观；这是SCC工具的主场，也是云桌面串流业务认真评估VVC的理由；
• 含屏幕内容的混合素材（带屏幕录制的教程视频）：屏幕区域块级受益，相机区域回归常规工具——VVC按块切换，无需分流转码；
• 纯相机视频：SCC工具几乎不会在RD搜索中胜出，零收益也近零开销（不开就不传标志）。

内容自检速查（工程口径）：

素材里若同时满足以下两条，值得开SCC工具做AB测试：
  1. 颜色直方图高度集中（头部两三种颜色覆盖大半像素）
  2. 存在大段像素级重复（可截两帧做块匹配验证）

反之，相机素材开SCC只是编码器多一层无谓的RD候选，
实测中编码时间小涨、码率基本不动——记得关掉。
​

⚠️ 联动提醒：SCC与QTMT（第2.1节）是天然搭档——细长条划分贴住表格线与文字行，IBC再整条搬运；SCC与环路滤波（第6章）也有交互（锐利边缘的去块判定更保守）。做SCC优化的编码器调参时，这三个模块要联动观察，单独调任何一处都可能顾此失彼。

案例：代码编辑器滚动的编码画像

把两把剪刀放到一段最常见的屏幕内容上：编程教学视频（深色主题IDE，光标闪烁、代码高亮、偶发滚动）。

背景：这类素材同时具备SCC两大特征——颜色集中在十几档（语法高亮调色板）、大片重复（空行、缩进、括号对）。操作路径（编码器视角）：滚动瞬间，整屏内容位移——纯滚动区域整块交给IBC（块矢量指向同帧已解码的上一屏位置，残差近零）；新增的代码行是"新内容"，调色板模式接管（几档颜色+索引游程）；光标闪烁的小区域走常规帧内（块小、频繁但便宜）。结果（示例口径）：这类内容的VVC码率可比自然视频思路（变换量化路线）低一个台阶，且滚动瞬间没有自然视频思路常见的"整屏糊一下"。解读：SCC的收益来自按内容特征分路——同屏三种区域三种工具，各走各的最优路径，这正是"标准提供菜单"的教科书式演出。变式：若素材里混入了摄像头画中画（讲师头像），那一小块回归帧间常规工具，块级竞争自动处理——无需内容分割预处理。

两问两答

问：IBC的块矢量怎么信令，贵吗？
与帧间MV同构：有预测子（邻近IBC块的矢量）、有Merge式抄送、差值走CABAC。命中重复内容时残差为零，总成本就是几个比特的矢量信息——"抄"的物价就是这么便宜。

问：调色板对渐变色内容（非纯色UI）还有效吗？
效果递减。调色板按精确匹配建条目，渐变色会把调色板撑大、索引趋于无序。这类内容往往MIP（3.2节）与常规帧内反而更好——四条路线（IBC/调色板/常规/仿射）的RD擂台自动裁决，工程上不需要人为画边界。

本节要点回顾

• 屏幕素材统计三特征：颜色离散、边缘锐利、零噪声——传统预测工具水土不服的根源；
• IBC同帧搬运：形式是帧间预测、参考是本帧过去，精确命中时残差为零，代价是解码端历史缓冲；
• 调色板三步：建板、索引化、游程——少色内容的理论下限传输；
• 两条判据独立：空间重复归IBC、颜色稀少归调色板，按块RD擂台自由竞争；
• 主场是云桌面与远程演示，纯相机素材开了也白开——工具是内容函数，这句话第三次出现。