pengxiao
e58b95d227
将《设计人工智能：基础与应用》拆分为 38 个 Markdown 文件， 按 11 个部分（上篇6部分+下篇5部分）+ 3 个附录组织。 Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
3.9 KiB
学习目标
-
掌握ControlNet的条件控制机制
理解LoRA高效微调原理
了解ComfyUI工作流搭建
ControlNet：精确控制
核心问题
纯文生图：难以精确控制空间结构
ControlNet解决
输入图像`` → ``提取条件`` (``边缘``/``深度``/``姿态``)
↓
条件`` → ControlNet → ``主模型`` → ``输出图像
条件类型
条件 说明 应用
Canny 边缘检测 轮廓控制
Depth 深度图 空间关系
Pose 人体姿态 人物生成
Normal 法线图 表面细节
Segmentation 分割图 区域控制
应用场景
草图`` → ControlNet → ``精细效果图
平面图`` → ControlNet → ``三维渲染
结构图`` → ControlNet → ``风格化设计
LoRA：高效微调
问题
全量微调大模型：计算资源需求巨大
LoRA原理
原始权重`` W ``固定
↓
添加低秩分解：
ΔW = A × B
(``d×r``) × (``r×d``)
↓
新输出`` = ``Wx`` + ``ABx
优势： - 参数量减少100-1000倍 - 训练速度快 - 易于切换风格
应用方式
基础模型`` + ``LoRA`` A = ``风格``A
基础模型`` + ``LoRA`` B = ``风格``B
基础模型`` + ``LoRA`` A + B = ``混合风格
ComfyUI：模块化工作流
核心特点
节点化连接
↓
可视化流程
↓
灵活定制
典型节点
节点类型 功能
Load Checkpoint 加载模型
CLIP Text Encode 文本编码
KSampler 采样生成
VAE Decode 潜在空间解码
Save Image 保存图像
ControlNet 条件控制
LoRA Loader 加载LoRA
工作流示例
文本提示`` → CLIP``编码`` →
↓
正负提示`` ────→ ``KSampler`` ← ControlNet
↓
VAE``解码
↓
``保存图像
设计领域应用案例
建筑设计
草图生成`` → ControlNet (Canny) → ``效果图
方案变体`` → ``LoRA``风格微调`` → ``多方案对比
室内设计
户型图`` → ControlNet → ``三维效果图
风格迁移`` → ``LoRA`` → ``不同材质方案
工具 核心价值
Midjourney 快速创意探索
Stable Diffusion 本地部署，可控生成
ControlNet 精确结构控制
ComfyUI 定制化工作流
版权与伦理
版权问题
-
AI训练数据的版权归属
AI生成作品的版权保护
风格模仿的法律边界
伦理考量
-
深度伪造 (Deepfake)
虚假信息传播
创作者职业影响
思考与练习
-
ControlNet如何平衡条件控制与创造性？
-
LoRA和全量微调各适用于什么场景？
-
AIGC工具如何融入设计工作流？
关键术语
中文 英文 说明
条件控制 Conditional Control 引导生成过程
低秩适应 LoRA Low-Rank Adaptation
工作流 Workflow 节点化的处理流程
采样器 Sampler 去噪采样算法