kohya-ss/sd-scripts 图像生成与训练脚本完全指南
【免费下载链接】sd-scripts项目地址: https://gitcode.com/gh_mirrors/sd/sd-scripts
项目概述
kohya-ss/sd-scripts 是一个功能强大的 Stable Diffusion 图像生成与训练工具集,提供了从基础图像生成到高级模型训练的全套解决方案。该项目基于 Diffusers 库构建,支持多种 Stable Diffusion 模型和扩展功能。
核心功能模块
图像生成模块
项目提供了多个图像生成脚本,满足不同需求:
gen_img_diffusers.py- 基于 Diffusers 的主要图像生成脚本,支持文本到图像、图像到图像、局部修复等多种模式。
sdxl_gen_img.py- 专为 SDXL 模型设计的图像生成工具,优化了大型模型的生成效率。
gen_img.py- 传统的图像生成脚本,兼容早期版本。
训练模块
DreamBooth 训练:
- train_db.py - 完整的 DreamBooth 训练实现
- 支持 U-Net 和 Text Encoder 的训练
LoRA 训练:
- train_network.py - 标准的 LoRA 网络训练
- sdxl_train_network.py - SDXL 专用的 LoRA 训练
Textual Inversion 训练:
- train_textual_inversion.py - 基础文本反转训练
- train_textual_inversion_XTI.py - 扩展的文本反转训练
主要脚本详解
图像生成脚本
gen_img_diffusers.py 是该项目的核心图像生成工具,具有以下特点:
- 支持无令牌长度限制的文本到图像生成
- 解析提示词中的权重设置
- 兼容 Stable Diffusion 1.x 和 2.x 系列
- 支持 LoRA 模型和 ControlNet v1.0
- 可加载自定义 VAE 模型
- 支持 Textual Inversion 嵌入
基础使用示例
python gen_img_diffusers.py --ckpt model.ckpt --outdir outputs --xformers --fp16高级功能
ControlNet 支持:
- 通过 control_net_lllite.py 和 control_net_lllite_for_train.py 实现
- 支持多种预处理方法
- 可同时使用多个 ControlNet 模型
LoRA 应用:
- 支持多 LoRA 同时使用
- 可调整各个 LoRA 的权重
- 区域特定的 LoRA 应用
模型管理工具
模型转换
convert_diffusers20_original_sd.py 提供了模型格式转换功能:
- Diffusers 格式与原始 Stable Diffusion 格式互转
- 支持 safetensors 格式
模型合并
merge_models.py 支持将多个模型合并:
- 权重平均合并
- 支持不同模型的融合
LoRA 管理
extract_lora_from_models.py 可从现有模型中提取 LoRA 权重
merge_lora.py 和 sdxl_merge_lora.py 提供了 LoRA 模型的合并功能
实用工具集
图像处理工具
resize_images_to_resolution.py 提供图像尺寸调整功能:
- 批量调整图像分辨率
- 支持多种插值方法
标签生成
tag_images_by_wd14_tagger.py 使用 WD14 标签器为图像生成标签
数据集准备
prepare_buckets_latents.py 为训练准备数据集
安装与配置
环境要求
- Python 3.10.6
- Git
- PyTorch 2.1.2(推荐)
依赖安装
pip install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/cu118 pip install --upgrade -r requirements.txt pip install xformers==0.0.23.post1 --index-url https://download.pytorch.org/whl/cu118性能优化
内存管理
- 启用 xformers 减少显存占用
- 使用半精度计算(fp16/bf16)
- 调整批量大小平衡速度与质量
生成质量提升
- 合理设置采样步数(推荐28-50步)
- 使用高清修复功能获得更佳效果
- 尝试不同引导尺度找到最佳平衡点
文档资源
项目提供了详细的使用文档:
- 训练指南:docs/train_README-zh.md
- 数据集配置:docs/config_README-en.md
- DreamBooth 训练指南:docs/train_db_README-zh.md
- LoRA 训练文档:docs/train_network_README-zh.md
总结
kohya-ss/sd-scripts 为 AI 图像创作提供了从基础生成到专业训练的完整工具链。通过掌握这些工具的使用方法,用户可以根据自己的需求进行各种定制化的图像生成和模型训练。
【免费下载链接】sd-scripts项目地址: https://gitcode.com/gh_mirrors/sd/sd-scripts
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考