Stable Diffusion:图像生成AI模型

下载地址

• StabilityAI官网
• OneThingAI云部署平台

安装教程

WebUI(模块化)

• StableDiffusion
  • Stable Diffusion WebUI A1111
  • Stable Diffusion WebUI Forge

ComfyUI(工作流)

1. 部署Git
   • 若下载Installer可跳过该步骤
   • 若下载Portable则先解压把根目录下的bin加入环境变量PATH中
2. 部署ComfyUI
   • ComfyUI Desktop：按照步骤安装即可
   • ComfyUI Portable：解压7z，运行根目录下的run_nvidia_gpu.bat，若无NVIDIA显卡则运行run_cpu.bat
3. 访问ComfyUI
   • 均可通过浏览器访问8000端口

模型下载

CheckPoints

主模型、大模型、底模、基础模型等。通过特定训练最终形成的一个保持该领域特征的一种综合算法合集，可以精准的匹配你的需求。比如摄影写实模型、3D模型、二次元模型、室内设计模型等等。Checkpoint 的训练难度大，需要的数据集大，生成的体积也较大，动则占用几个G的磁盘空间。

• HuggingFace(抱脸)
  • Anything v5
  • StableDiffusion3 Medium
  • StableDiffusion3 Large
• Civitai(C站)
  • AiARTiST-HyperRAY XL(室内设计)
• NovelAI(泄露模型)

UpscaleModels

超分辨率模型

• 超分模型下载
  • BSRGAN x2
  • RealESRGAN x4Plus Anime
  • UltraSharp 4x
  • SwinIR 4x

VAE

变分自编码器模型可以当作滤镜，目前针对 Stable Diffusion 主流的 VAE 模型有两个，二次元使用 kl-f8-anime2VAE, 写实风格使用 vae-ft-mse-840000-ema-pruned。

• AnimeVAE-NovalAI原版

Hypernetwork

超网络模型

Embedding

文本嵌入模型，应用于提示词中，是一类经过训练的提示词合集，主要用来提升画质，规避一些糟糕的画面。比如：badhandv4、Bad_picture、bad_prompt、NG_Deep Negative、EasyNegative，这些是经常用到的反向提示词嵌入模型，可以单独使用或者组合使用。

LoRA

低秩适应模型作为大模型的一种补充，能对生成的图片进行单一特征的微调，比如生成的人物图片具有相同的人脸特征、穿着特定服装、具备特定画风等等。Lora 模型体积较小，一般几十几百兆， 个人主机就可训练自己需要的 Lora 模型。

Controlnet

控制模型

IPAdapter

风格迁移模型

CustomNodes

ComfyUI自定义节点

• ComfyUI Manager

  • 手动安装节点管理器:在软件根目录custom_nodes文件夹下使用Git命令git pull https://github.com/ltdrdata/ComfyUI-Manager.git

• ComfyUI Translation

  • 界面翻译:安装后需进入设置-AGL-Locale-AGLTranslation-langualge调整语言

• AlekPet

  • 无法Import时进入虚拟环境执行ComfyUI\.venv\Scripts\python -m pip install --upgrade setuptools

• Inspire Pack

  • A1111WebUI兼容性支持
    • KSampler(Inspire):ComfyUI使用CPU生成随机噪声，而A1111使用GPU
      • 配合Advanced CLIP Text Encode的CLIP文本编码器(BNK)，权重插值选择A1111

使用教程

基础知识

入坑可以看B站秋葉的视频，零基础推荐下载整合包使用。 对原理大致了解可以从基础工作流及模型介绍了解核心原理。

Flux模型指南

• Flux.1 ComfyUI 对应模型安装及教程指南

前沿资讯

• AIGC前沿技术