## 学习目标 3. 掌握ControlNet的条件控制机制 理解LoRA高效微调原理 了解ComfyUI工作流搭建 ## ControlNet：精确控制 核心问题 纯文生图：难以精确控制空间结构 ### ControlNet解决 `输入图像`` → ``提取条件`` (``边缘``/``深度``/``姿态``)`\ ` ↓`\ `条件`` → ControlNet → ``主模型`` → ``输出图像` ### 条件类型 ------------------------------------ 条件 说明 应用 -------------- ---------- ---------- Canny 边缘检测 轮廓控制 Depth 深度图 空间关系 Pose 人体姿态 人物生成 Normal 法线图 表面细节 Segmentation 分割图 区域控制 ------------------------------------ ### 应用场景 `草图`` → ControlNet → ``精细效果图`\ `平面图`` → ControlNet → ``三维渲染`\ `结构图`` → ControlNet → ``风格化设计` LoRA：高效微调 问题 全量微调大模型：计算资源需求巨大 LoRA原理 `原始权重`` W ``固定`\ ` ↓`\ `添加低秩分解：`\ ` ΔW = A × B`\ ` (``d×r``) × (``r×d``)`\ ` ↓`\ `新输出`` = ``Wx`` + ``ABx` 优势： - 参数量减少100-1000倍 - 训练速度快 - 易于切换风格 ### 应用方式 `基础模型`` + ``LoRA`` A = ``风格``A`\ `基础模型`` + ``LoRA`` B = ``风格``B`\ `基础模型`` + ``LoRA`` A + B = ``混合风格` ## ComfyUI：模块化工作流 ### 核心特点 `节点化连接`\ ` ↓`\ `可视化流程`\ ` ↓`\ `灵活定制` ### 典型节点 --------------------------------- 节点类型 功能 ------------------ -------------- Load Checkpoint 加载模型 CLIP Text Encode 文本编码 KSampler 采样生成 VAE Decode 潜在空间解码 Save Image 保存图像 ControlNet 条件控制 LoRA Loader 加载LoRA --------------------------------- ### 工作流示例 `文本提示`` → CLIP``编码`` →`\ ` ↓`\ `正负提示`` ────→ ``KSampler`` ← ControlNet`\ ` ↓`\ ` VAE``解码`\ ` ↓`\ ` ``保存图像` ## 设计领域应用案例 ### 建筑设计 `草图生成`` → ControlNet (Canny) → ``效果图`\ `方案变体`` → ``LoRA``风格微调`` → ``多方案对比` ### 室内设计 `户型图`` → ControlNet → ``三维效果图`\ `风格迁移`` → ``LoRA`` → ``不同材质方案` --------------------------------------- 工具 核心价值 ------------------ -------------------- Midjourney 快速创意探索 Stable Diffusion 本地部署，可控生成 ControlNet 精确结构控制 ComfyUI 定制化工作流 --------------------------------------- ## 版权与伦理 ### 版权问题 6. AI训练数据的版权归属 AI生成作品的版权保护 风格模仿的法律边界 ### 伦理考量 9. 深度伪造 (Deepfake) 虚假信息传播 创作者职业影响 ## 思考与练习 1. ControlNet如何平衡条件控制与创造性？ 2. LoRA和全量微调各适用于什么场景？ 3. AIGC工具如何融入设计工作流？ ## 关键术语 ------------------------------------------------------ 中文 英文 说明 ---------- --------------------- --------------------- 条件控制 Conditional Control 引导生成过程 低秩适应 LoRA Low-Rank Adaptation 工作流 Workflow 节点化的处理流程 采样器 Sampler 去噪采样算法 潜在空间 Latent Space 压缩的特征空间 ------------------------------------------------------ ## 延伸阅读 1. [ControlNet官方论文](https://arxiv.org/abs/2302.05543) [LoRA官方论文](https://arxiv.org/abs/2106.09685) [ComfyUI文档](https://docs.comfy.org/)