LoRA 微调 #

┌─────────────────────────────────────────────────────────────┐
│                    LoRA 原理                                 │
├─────────────────────────────────────────────────────────────┤
│                                                             │
│  传统微调：                                                  │
│  原模型 ──→ 修改模型参数 ──→ 新模型（文件大）                │
│                                                             │
│  LoRA 微调：                                                 │
│  原模型 ──→ 添加 LoRA 权重 ──→ 调整后效果（文件小）          │
│                    ↓                                        │
│              可随时移除                                      │
│                                                             │
│  优势：                                                      │
│  ├── 文件小（10MB-500MB）                                   │
│  ├── 加载快                                                 │
│  ├── 可叠加                                                 │
│  └── 不修改原模型                                           │
│                                                             │
└─────────────────────────────────────────────────────────────┘

LoRA 类型分类：

风格 LoRA：
├── 艺术风格：油画、水彩、动漫
├── 摄影风格：电影感、复古
└── 特定艺术家风格

角色 LoRA：
├── 真实人物
├── 动漫角色
├── 游戏角色
└── 虚拟形象

概念 LoRA：
├── 特定服装
├── 特定场景
├── 特定物体
└── 特定概念

功能 LoRA：
├── 细节增强
├── 质量提升
├── 特定效果
└── 修复功能

LoraLoader 节点：

┌─────────────────────────────────────────────────────────────┐
│                    LoraLoader 节点                           │
├─────────────────────────────────────────────────────────────┤
│                                                             │
│  输入：                                                      │
│  ├── model: MODEL (来自 Checkpoint)                         │
│  └── clip: CLIP (来自 Checkpoint)                           │
│                                                             │
│  参数：                                                      │
│  ├── lora_name: LoRA 文件名                                 │
│  ├── strength_model: 模型权重                               │
│  └── strength_clip: CLIP 权重                               │
│                                                             │
│  输出：                                                      │
│  ├── MODEL (调整后的模型)                                   │
│  └── CLIP (调整后的 CLIP)                                   │
│                                                             │
└─────────────────────────────────────────────────────────────┘

连接方式：

Load Checkpoint
       │
       ├── MODEL ──┐
       │           │
       └── CLIP ───┼──→ LoraLoader ──→ MODEL/CLIP ──→ KSampler
                   │
                   └── lora_name, strength_model, strength_clip

权重参数说明：

strength_model（模型权重）：
├── 影响 UNet 模型
├── 控制图像生成效果
└── 推荐范围：0.5-1.0

strength_clip（CLIP 权重）：
├── 影响文本编码器
├── 控制提示词理解
└── 推荐范围：0.5-1.0

权重效果：
├── 0.0 - 无效果
├── 0.3-0.5 - 轻微影响
├── 0.5-0.8 - 中等影响（推荐）
├── 0.8-1.0 - 强烈影响
└── >1.0 - 过度影响（可能失真）

不同类型推荐权重：
├── 风格 LoRA：model=0.7, clip=0.7
├── 角色 LoRA：model=0.8, clip=0.8
├── 概念 LoRA：model=0.6, clip=0.5
└── 功能 LoRA：按说明设置

串联加载方式：

Load Checkpoint
       │
       └──→ LoRA 1 ──→ LoRA 2 ──→ LoRA 3 ──→ KSampler

节点连接：
┌─────────────┐     ┌─────────────┐     ┌─────────────┐
│ Load        │     │ LoraLoader  │     │ LoraLoader  │
│ Checkpoint  │────→│ 1           │────→│ 2           │────→ ...
└─────────────┘     └─────────────┘     └─────────────┘

注意事项：
├── 后加载的 LoRA 可能覆盖前者
├── 总权重不宜过高
├── 风格冲突时降低权重
└── 建议逐个测试效果

推荐组合策略：

1. 风格 + 细节
   ├── 风格 LoRA: 0.7
   └── 细节 LoRA: 0.5

2. 角色 + 风格
   ├── 角色 LoRA: 0.8
   └── 风格 LoRA: 0.5

3. 多风格混合
   ├── 主风格 LoRA: 0.6
   └── 辅助风格 LoRA: 0.4

避免的组合：
├── 冲突的风格（如写实+动漫）
├── 过多 LoRA（建议 ≤ 3 个）
└── 总权重过高（建议 < 2.0）

权重平衡技巧：

1. 逐步调整
   ├── 从低权重开始
   ├── 逐步增加
   └── 找到最佳值

2. 测试对比
   ├── 不同权重组合
   ├── 相同种子对比
   └── 记录最佳配置

3. 冲突处理
   ├── 降低冲突 LoRA 权重
   ├── 或移除冲突 LoRA
   └── 选择兼容的组合

示例配置：
风格 LoRA (0.6) + 角色 LoRA (0.8) + 细节 LoRA (0.4)
总权重 = 1.8（合理范围）

触发词使用：

很多 LoRA 需要特定触发词：
├── 查看作者说明
├── 使用推荐的触发词
└── 放在提示词开头

示例：
LoRA: anime_style
触发词: "anime style, anime art"
提示词: "anime style, anime art, a girl in garden"

触发词权重：
├── 可增加触发词权重
├── 示例："(anime style:1.2)"
└── 增强效果

LoRA 与提示词配合：

1. 支持性提示词
   ├── 描述 LoRA 风格特点
   ├── 增强风格效果
   └── 示例：风格 LoRA + 风格描述词

2. 冲突避免
   ├── 避免与 LoRA 冲突的词
   ├── 如动漫 LoRA 避免写实词
   └── 保持提示词一致性

3. 负面词调整
   ├── 针对性负面词
   ├── 排除不想要的效果
   └── 提高生成质量

示例：
LoRA: realistic_portrait
提示词: "portrait of a woman, realistic, detailed skin"
负面词: "anime, cartoon, painting, drawing"

LoRA 文件组织：

目录结构：
ComfyUI/models/loras/
├── style/
│   ├── art_style/
│   ├── photo_style/
│   └── anime_style/
├── character/
│   ├── realistic/
│   └── anime/
├── concept/
│   ├── clothing/
│   ├── scene/
│   └── object/
└── utility/
    ├── detail/
    └── quality/

命名规范：
├── 类型_名称_版本.safetensors
├── 示例：style_oilpaint_v2.safetensors
└── 便于识别和管理

LoRA 版本管理：

1. 记录信息
   ├── LoRA 名称和来源
   ├── 推荐权重
   ├── 触发词
   └── 适用场景

2. 测试记录
   ├── 不同权重效果
   ├── 组合效果
   └── 最佳配置

3. 更新管理
   ├── 新版本测试
   ├── 保留稳定版本
   └── 记录变更

动态权重控制：

使用 Primitive 节点：
┌─────────────┐
│ Primitive   │
│ (Float)     │
│ value: 0.7  │
└──────┬──────┘
       │
       ▼
┌─────────────┐
│ LoraLoader  │
│ strength: ←─┘
└─────────────┘

优势：
├── 统一控制多个 LoRA
├── 便于批量调整
└── 提高工作效率

条件切换 LoRA：

使用 Switch 节点：
┌─────────────┐     ┌─────────────┐
│ LoraLoader  │     │             │
│ 1           │────→│ Switch      │────→ MODEL
└─────────────┘     │             │
┌─────────────┐     │             │
│ LoraLoader  │────→│             │
│ 2           │     └─────────────┘
└─────────────┘

用途：
├── 条件选择 LoRA
├── 批量测试不同 LoRA
└── 自动化工作流

症状：加载 LoRA 后效果变化不大

解决：
├── 提高权重值
├── 使用触发词
├── 检查 LoRA 兼容性
├── 确认模型版本匹配
└── 调整提示词

症状：LoRA 效果过强，图像失真

解决：
├── 降低权重值
├── 调整 strength_model 和 strength_clip
├── 减少组合 LoRA 数量
└── 优化提示词

症状：多个 LoRA 效果冲突

解决：
├── 降低冲突 LoRA 权重
├── 移除冲突的 LoRA
├── 选择兼容的组合
└── 调整加载顺序