StyleGAN

StyleGAN

本节摘要:大多数生成器把 z 同时塞进每一层,于是姿态、光照、身份、背景全搅在一起——动一个轴,四样全变,你无法让模型「同一个人换个姿势」。StyleGAN(Karras 等 2019, NVIDIA)的奇招是把 z 拆开:先用一个映射网络把 z 变成中间向量 w,再通过 AdaIN(自适应实例归一化)在每一个分辨率层级注入 w。这一改动解开了潜空间,让照片级人脸成为连续七年的「已解决问题」。本节讲透:映射网络为何能解耦、AdaIN 如何用「特征图的一阶/二阶统计量」定义风格、逐层噪声如何单独控制随机细节(毛孔、发丝)、截断技巧 ψ 如何用多样性换质量,以及 StyleGAN 1→2→3 修复的「液滴伪影」与「纹理粘连」两大顽疾。

对应原课程:Phase 08 · Lesson 05 · stylegan(原英文 phases/08-generative-ai/05-stylegan/docs/en.md)。

学习目标

阅读完本节,你应当能够:

1. 说清 DCGAN「z 全搅在一起」的纠缠问题,以及 StyleGAN 用「映射网络 + 逐层 AdaIN 注入」如何解耦。
2. 推导 AdaIN 的公式:先逐特征图归一化,再用 w 的仿射投影做缩放与偏移,从而把「风格」定义为特征图的均值与方差。
3. 解释逐层噪声为何能单独控制随机细节(毛孔、发丝)而不影响全局结构。
4. 说清 StyleGAN 1→2→3 三代的演进:AdaIN→权重解调(修复液滴伪影)→无混叠卷积(修复纹理粘连)。
5. 用截断技巧 ψ 在质量与多样性之间权衡,并解释它在生产推理中作为「安全旋钮」的角色。

一、问题与直觉

DCGAN 把 z 通过一堆转置卷积映射成图像。问题是:z 控制一切——姿态、光照、身份、背景——全搅在一起。沿 z 的一个轴移动,这四样同时变。你无法要求模型「同一个人,换个姿势」,因为表示没有那样分解。

Karras 等(2019, NVIDIA)的提议:别再把 z 直接喂进卷积层。改用一个学到的常数 4×4×512 张量作为网络输入;学一个 8 层 MLP,把 z ∈ Z → w ∈ W;在每个分辨率上,通过自适应实例归一化(AdaIN)注入 w:先归一化每个卷积特征图,再用 w 的仿射投影做缩放和偏移;再为每一层加上随机噪声,控制皮肤毛孔、发丝这类随机细节。

结果:W 拥有大致正交的轴——「高层风格」(姿态、身份)与「精细风格」(光照、色彩)。你可以通过「低分辨率层用图 A 的 w、高分辨率层用图 B 的 w」来在两张图之间交换风格。这一招解锁了图像编辑、跨领域风格化,以及整个「StyleGAN 反演」研究线。

三个直觉:为什么这套设计能解耦

为什么要有映射网络? 直接用 z(各向同性高斯)做风格输入,数据分布的几何形状会被强行套进高斯壳里,纠缠不可避免。映射网络 f: Z → W 让 W 学一个数据自适应的形状,把纠缠的 Z 展平成更线性的 W。经验上,W 里的轴大致对应可解释的语义(年龄、笑容、姿态),而 Z 里没有。

为什么是 AdaIN 而不是直接拼接? AdaIN 把「风格」定义为特征图的一阶/二阶统计量(均值与方差)。这意味着「换风格」=「换每层特征图的均值方差」,而不改动空间结构(边缘、轮廓)。所以低分辨率层换 w,改的是身份与姿态;高分辨率层换 w,改的是肤色与光照——结构不变,风格可换。这正是「解耦」的工程含义。

为什么每层单独加噪声? 全局结构(身份、姿态)与随机细节(毛孔、发丝、雀斑)属于完全不同的语义层级。把噪声只加在每个特征图上(且每通道有独立的可学习缩放),网络就能把「确定性结构」交给 w,把「随机细节」交给噪声,两者互不干扰。

二、核心概念:AdaIN 与逐层噪声

AdaIN 公式

AdaIN(x, y) = y_scale · (x − mean(x)) / std(x) + y_bias
​

其中 y_scale 和 y_bias 来自 w 的仿射投影(一层线性层)。先逐特征图归一化(去均值除标准差),再用 w 投影出的缩放与偏移重新设定风格。这里「风格」就是特征图的均值与方差——这与经典风格迁移(Style Transfer)里 Gram 矩阵的思想一脉相承。

逐层噪声

每个特征图加一个单通道高斯噪声,再乘以一个每通道可学习的缩放因子:

def add_noise(x, sigma, rng):
    return [xi + sigma * rng.gauss(0, 1) for xi in x]
​

sigma 每通道独立、可学习。这让网络自己决定「这一层需要多少随机性」——靠近输出的层学到大的 sigma(细节多),靠近输入的层 sigma 接近 0(全局结构稳定)。

截断技巧(Truncation Trick)

推理时,采样 z,算 w = mapping(z),然后:

w' = ŵ + ψ · (w − ŵ)
​

其中 ŵ 是大量样本上 w 的均值。ψ < 1 把采样拉向均值(高质量、低多样性),ψ > 1 推向尾部(更怪、更多样但质量下降)。几乎所有 StyleGAN 演示都用 ψ ≈ 0.7。

💡 截断技巧的代价:ψ < 0.7 看起来干净,但只从映射网络范围的一个窄锥里采样,会漏掉真实数据的尾部模式。如果你的应用需要多样性(数据增强、人群多样性),用 ψ = 1.0。生产服务里,ψ 常被当成「安全旋钮」:高峰期降 ψ 保质量,付费用户升 ψ 给多样性。

三、StyleGAN 1 → 2 → 3

两代修复的两大顽疾

液滴伪影(Droplet Artifacts,StyleGAN2 修复)。 StyleGAN 1 的特征图里会出现一个团状液滴——因为 AdaIN 把均值归零,极小的归一化前均值波动会被放大成巨大的激活。StyleGAN 2 的「权重解调」不再归一化激活,而是直接调制卷积权重,从根上消除了液滴。

纹理粘连(Texture Sticking,StyleGAN3 修复)。 StyleGAN 1/2 的纹理跟着像素坐标走,而不是跟着物体坐标走——在插值动画里,你会看到墙上的砖纹「贴在屏幕上不动」而不是随物体一起移动。StyleGAN 3 的「无混叠卷积」(加窗 sinc 滤波器)让卷积对平移、旋转真正等变,纹理终于跟着物体走。

四、从零实现:一维 StyleGAN-Lite

code/main.py 在一维上实现一个玩具「StyleGAN-Lite」:一个映射 MLP、一个以学习常数为起点并用 w 派生的缩放/偏移做调制的合成函数,以及逐层噪声。它展示:用 w 做仿射调制,在效果上匹配甚至超过把 z 拼到生成器输入。

步骤 1:映射网络

def mapping(z, M):
    h = z
    for i in range(num_layers):
        h = leaky_relu(add(matmul(M[f"W{i}"], h), M[f"b{i}"]))
    return h
​

8 层 MLP,把 z ∈ N(0,I)^512 映到 w。W 不强制是高斯——它学一个数据自适应的形状,这是解耦的关键。

步骤 2:自适应实例归一化

def adain(x, w_scale, w_bias):
    mu = mean(x)
    sd = std(x)
    x_norm = [(xi - mu) / (sd + 1e-8) for xi in x]
    return [w_scale * xi + w_bias for xi in x_norm]
​

每特征图的缩放与偏移,由 w 经线性投影得到。

步骤 3:逐层噪声

def add_noise(x, sigma, rng):
    return [xi + sigma * rng.gauss(0, 1) for xi in x]
​

sigma 每通道可学习。

五、典型陷阱与修复

• 液滴伪影:StyleGAN 1 因 AdaIN 归零均值而出现;StyleGAN 2 的权重解调通过缩放卷积权重修复。
• 纹理粘连:StyleGAN 1/2 的纹理跟像素坐标走;StyleGAN 3 的无混叠卷积(加窗 sinc)修复。
• 模式覆盖:截断 ψ < 0.7 看起来干净但只从窄锥采样;要多样性就 ψ = 1.0。
• 反演是有损的:把真实照片反演到 W,通常靠优化或编码器(e4e、ReStyle、HyperStyle);多次迭代后结果会漂移。

⚠️ W 与 W+ 的区别:标准 W 是单个 w 向量在所有层共享;W+ 让每一层有独立的 w(等价于把 18 个 w 拼起来)。W+ 反演更精确(能更好还原真实照片),但牺牲了一些解耦性。e4e 等编码器专门为「在 W 与 W+ 之间取平衡」而设计。

六、框架对比:2026 年 StyleGAN 的定位

对「人物面部照片」这种产品级需求,StyleGAN 在推理成本(单次前向,4090 上 <10ms)与同等质量门槛下的锐度上击败扩散。

生产推理:为什么 StyleGAN 在 2026 年仍被交付

4090 上,StyleGAN3 生成一张 1024² FFHQ 人脸不到 10ms——步数 = 1、无 VAE 解码、无交叉注意力。用生产术语说,这是任何图像生成器的延迟下限。同样分辨率的 50 步 SDXL + VAE 解码流水线约 3 秒。这是 300 倍的差距,对窄领域产品(头像服务、证件照流水线、库存人脸生成)在 TCO 上完胜。

两个工程后果:

• 无需调度器、无需批处理器:目标占用率下的静态批即最优。连续批处理(LLM 和扩散必需)在这里零收益,因为每个请求 FLOPs 相同。
• 截断 ψ 是唯一的安全旋钮:ψ < 0.7 只从映射网络范围的窄锥采样,这是服务层控制样本方差的唯一杠杆。高峰降 ψ 保质量,付费用户升 ψ。

七、可复用产物

本节产出一个反演技能文件(位于原课程 outputs/skill-stylegan-inversion.md)。

• skill-stylegan-inversion.md:输入一张真实照片,输出:反演方法(e4e / ReStyle / HyperStyle)、预期潜变量损失、编辑预算(在 W 里能移动多远才出伪影)、已知好的编辑方向列表(年龄、表情、姿态)。

八、练习

1. 简单。 把 code/main.py 设为 adain_on=True 与 False 各跑一次。比较「固定潜变量」与「扰动潜变量」下输出的离散度。

2. 中等。 实现 mixing regularization(混合正则):对一个训练批,算 w_a、w_b,合成网络的前半段用 w_a、后半段用 w_b。解码器是否学到了解耦的风格?

3. 困难。 拿一个预训练 StyleGAN3 FFHQ 模型(ffhq-1024.pkl)。在带标签的样本上训一个 SVM,找到控制「笑容」的 w 方向;报告能推多远才会让身份漂移。

本节要点回顾

1. DCGAN 的纠缠问题:z 同时控制姿态/光照/身份/背景,无法做「同人换姿势」。
2. StyleGAN 的奇招:映射网络 f:Z→W 把纠缠的 Z 展平成数据自适应的 W;W 不强制高斯,是解耦的关键。
3. AdaIN = 归一化 + 仿射再设风格:y_scale·(x−mean)/std + y_bias,把「风格」定义为特征图的均值与方差,结构不变风格可换。
4. 逐层噪声:单通道噪声 × 每通道可学习 sigma,让随机细节(毛孔、发丝)与全局结构分离。
5. 截断技巧 ψ:w' = ŵ + ψ·(w−ŵ),ψ<1 用多样性换质量;生产里是唯一的安全旋钮。
6. 三代修复:StyleGAN2 权重解调解液滴伪影;StyleGAN3 无混叠卷积解纹理粘连;StyleGAN-XL/R3GAN 推到 ImageNet 规模。
7. 生产定位:窄领域照片级人脸仍是 StyleGAN3 的天下——单次前向 <10ms,比扩散快 300 倍;开放领域让位给扩散。

下一节,我们离开 GAN 家族,进入桶 2/4 的霸主——DDPM 扩散模型:从零推导前向加噪、反向去噪、ELBO 与简化损失,理解为什么「学会去噪」等价于「学会数据分布」,并为后续的潜在扩散、ControlNet、流匹配铺好数学地基。