Stable Diffusion实战教程：本地部署与ControlNet进阶（2026）

Midjourney好用但要付费、数据在云端；如果你要完全免费、数据本地可控、能深度定制，那Stable Diffusion（简称SD）是最佳选择。但SD的代价是门槛高——要懂部署、选模型、配参数，新手常被劝退。这篇就是帮你跨过这道门槛。

我是灏天文库团队的一员，本地部署和折腾SD是我们技术实践的一部分。这篇把SD从部署到ControlNet进阶的完整路径讲清楚，配合真实踩坑经验。 学完你能独立用SD产出高质量、可控的AI绘画。想看SD和Midjourney的对比，读AI绘画工具对比。

先选界面：WebUI vs ComfyUI

SD本身是模型，需要界面（前端）来用。当前主流有两个：

WebUI（Automatic1111）：经典界面，类似表单填写，上手相对友好。适合新手入门和常规出图。优点是直观、教程多；缺点是流程固定、不够灵活。

ComfyUI：节点式（node）界面，把出图过程拆成可连接的节点。适合进阶用户和复杂工作流。优点是灵活强大、可控性极高、是当前主流方向；缺点是学习曲线陡。

选型建议：新手从WebUI入门，熟悉后转ComfyUI。 当前社区生态明显向ComfyUI倾斜（新的SDXL/SD3/Flux工作流多以ComfyUI为主），长期看ComfyUI是必学。但入门阶段WebUI的心理门槛更低。

本地部署：硬件与步骤

SD本地部署的首要前提是硬件，这点必须先说清，避免白忙。

硬件要求：

• 显卡（GPU）：NVIDIA显卡，显存至少8GB（SDXL/Flux建议12GB+）。AMD和核显也能跑但折腾多。显存是关键指标。
• 内存：16GB起步，32GB更稳。
• 硬盘：SSD，预留50GB+（模型文件很大）。

部署方式（按难度排序）：

1. 整合包（最简单，推荐新手）：下载秋叶整合包等一键整合包，解压即用，省去手动配环境的痛苦。新手强烈建议从整合包开始。
2. 官方安装器：WebUI/ComfyUI官方提供的安装脚本，需手动装Python、Git、PyTorch。
3. 手动部署：从零配环境，最灵活但最折腾，不推荐新手。

部署核心步骤（以整合包为例）：

1. 确认显卡驱动最新（NVIDIA驱动）。
2. 下载整合包并解压到非系统盘、全英文路径（中文路径会报错，这是高频坑）。
3. 运行启动脚本，等待首次启动（会下载依赖）。
4. 启动后在浏览器访问本地端口（如 http://127.0.0.1:7860）。

常见坑： 中文路径报错、显存不足（降分辨率或用优化版模型）、CUDA版本不匹配（更新驱动）、首次启动慢（正常，在下载模型）。

模型与LoRA：SD的核心资产

SD的强大来自其开放的模型生态。理解模型类型是用好SD的关键。

基础模型（大模型）：决定整体画风和能力。主流选择：

• SD 1.5：经典老模型，轻量、显存友好、生态最丰富，但分辨率和细节有限。
• SDXL：当前主流，1024×1024原生分辨率，质量高，显存要求中等。
• SD3 / Flux：最新一代，质量最高、文字渲染能力强，但显存要求高。

LoRA（微调模型）：在基础模型上叠加的小模型，用于生成特定人物、风格、物件。LoRA是SD精准出图的秘密武器——要画某个IP角色、某种特定画风，找对应的LoRA装上即可。Civitai（C站）是最大的LoRA下载站。

模型选择建议： 新手从SDXL主流写实或二次元大模型起步，配合1-2个常用风格LoRA。别一上来就囤几十个模型，先用深1个基础模型+几个LoRA，产出稳定了再扩展。

ControlNet：从随机到精准

如果说LoRA让SD能画"特定内容"，那ControlNet让SD能精准控制构图、姿态、边缘——这是SD区别于Midjourney的最大优势。

ControlNet是什么？ 一个让SD根据参考图（线稿、深度图、姿态等）生成对应结构图的扩展。有了它，SD从"碰运气"变成"按你的草图/参考出图"。

常用ControlNet类型：

• Canny/Lineart（线稿）：根据线稿生成图。画师把草图变成品的最爱。
• OpenPose（姿态）：根据人物骨架姿态生成。控制人物动作必备。
• Depth（深度）：根据深度图生成，保留空间结构。
• Tile（细化）：放大图片、细节增强的高质量方案。

实战流程（以线稿生成为例）：

1. 准备一张线稿图（手绘或从成品图提取）。
2. 在ControlNet面板上传线稿，选择Lineart类型。
3. 写提示词描述要的风格和内容。
4. 启用ControlNet生成——SD会按你的线稿结构出图。

ControlNet的核心价值：精准可控。 这是专业创作者选SD而非Midjourney的核心原因——Midjourney更省心，但SD+ControlNet更可控。

图生图与进阶技巧

图生图（img2img）：上传一张参考图+提示词，SD基于参考图重绘。用于风格转换、局部修改、画质提升。重绘幅度（denoising strength）是关键参数——低幅度接近原图，高幅度大幅改变。

局部重绘（Inpaint）：只重绘图片的某个区域，用于修掉瑕疵、换装、换背景。比整图重绘更精准高效。

放大（Upscale）：SD原生分辨率有限，高清放大是产出可用图的关键。Tilediffusion + Tile ControlNet是高质量放大方案。

进阶工作流（ComfyUI）：把上述能力组合成节点流程，如"线稿ControlNet→基础模型→LoRA→放大→局部重绘"，实现完全可控的出图流水线。

SD vs Midjourney：什么时候选SD

一句话判断：要省心、高质量、不差钱→Midjourney；要免费、本地可控、精准控制→Stable Diffusion。

常见问题（FAQ）

Q1：SD本地部署一定要NVIDIA显卡吗？

强烈建议NVIDIA。AMD和核显也能跑（通过DirectML等），但速度慢、兼容性差、折腾多。有条件务必用NVIDIA，显存8GB起。没有合适显卡可考虑云端部署（如AutoDL租显卡）。

Q2：新手该从WebUI还是ComfyUI开始？

从WebUI（或整合包）开始，上手友好。熟悉SD概念后再转ComfyUI。当前生态向ComfyUI倾斜，长期必学，但入门WebUI心理门槛更低。

Q3：ControlNet难学吗？

概念不难（上传参考图+选类型+生成），但要用精需要练习。先掌握1-2个常用类型（如Lineart线稿、OpenPose姿态），能解决80%需求，再逐步扩展。

Q4：SD出的图不如Midjourney好看怎么办？

SD出图质量取决于"模型+参数+ControlNet"，新手出图差通常是因为：①模型没选好（换主流高质量大模型）；②参数没调好（步数、CFG、采样器）；③提示词不到位。SD需要更多调参功夫，但调好后可控性远超MJ。

Q5：LoRA怎么选、怎么用？

去Civitai（C站）按需求搜索（人物/风格/物件），看下载量和样图选高质量LoRA。下载后放到指定目录，出图时在提示词里用 <lora:名字:权重> 调用，权重一般0.6-1.0。

Q6：灏天文库能帮我学SD吗？

灏天文库持续追踪AI创作工具，本文集提供SD结构化实战教程，且支持RAG智能问答——部署报错、参数怎么调都可以直接提问。结构化学习+AI问答，帮你少走弯路。

总结：三个核心认知

1. SD的核心优势是免费+本地可控+ControlNet精准控制。 代价是门槛高，适合技术用户和追求可控的专业创作者。
2. 新手从整合包+WebUI+一个主流大模型起步。 别一上来囤几十个模型，先用深一套，产出稳定再扩展。
3. ControlNet是SD的杀手锏。 掌握线稿、姿态等常用类型，SD就从"碰运气"变成"精准出图"，这是选SD而非MJ的核心理由。

一句话总结：Stable Diffusion的门槛在部署和调参，但跨过去后，它的免费、本地、可控性是Midjourney无法比拟的。从整合包起步、用深一个模型、掌握ControlNet，你就能驾驭开源AI绘画。

在灏天文库探索SD实战教程，或用RAG问答解决部署调参问题 →

参考资料

[1] Stability AI - "Stable Diffusion官方" - https://stability.ai/ - SD模型开发方

[2] AUTOMATIC1111 - "Stable Diffusion WebUI" - https://github.com/AUTOMATIC1111/stable-diffusion-webui - 主流WebUI

[3] ComfyUI - "节点式SD界面" - https://github.com/comfyanonymous/ComfyUI - 进阶工作流界面

[4] lllyasviel - "ControlNet" - https://github.com/lllyasviel/ControlNet - 精准控制扩展

[5] Civitai - "模型与LoRA社区" - https://civitai.com/ - 最大的SD模型下载站