2.6 FLUX IP-Adapter

FLUX IP-Adapter | 具有风格适应的图像生成

FLUX-IP-Adapter 是一个用于图像生成的有用工具,允许用户将预训练模型适应特定的图像风格或概念。支持 512x512 和 1024x1024 分辨率,FLUX-IP-Adapter 为各种图像生成任务提供灵活性

ComfyUI FLUX-IP-Adapter 工作流程



FLUX IP-Adapter ComfyUI Workflow


ComfyUI FLUX-IP-Adapter 描述


FLUX 是由 Black Forest Labs 开发的新图像生成模型。FLUX-IP-Adapter 的检查点由 XLabs AI 团队提供,他们还创建了 ComfyUI FLUX-IP-Adapter 工作流。有关详细信息,请访问 flux-ip-adapter。所有的荣誉归功于他们的贡献。


FLUX 模型已加载到 RunComfy 上,命名为 flux/flux-schnell 和 flux/flux-dev。

启动中型 RunComfy 机器时:选择检查点 flux-schnell, fp8 和 clip t5_xxl_fp8 以避免内存不足问题。

启动大型或更大规模的 RunComfy 机器时:选择较大的检查点 flux-dev, default 和高 clip t5_xxl_fp16。

更多详情请访问: ComfyUI FLUX | 一种新的艺术图像生成

以下 FLUX-IP-Adapter 工作流专为 FLUX.1 [dev] 模型设计。


关于 FLUX-IP-Adapter

FLUX-IP-Adapter 允许用户通过适应预训练模型的特定图像风格或概念来生成图像。FLUX-IP-Adapter 模型在 512x512 和 1024x1024 分辨率上进行了训练,使其在各种图像生成任务中具有多功能性。

如何使用 ComfyUI FLUX-IP-Adapter 工作流

要在 ComfyUI 中使用 FLUX-IP-Adapter,请按照以下步骤操作:

1. 加载 FLUX-IP-Adapter 模型

  • 在 ComfyUI 工作流中使用 "Flux Load IPAdapter" 节点。

  • 选择合适的 FLUX-IP-Adapter 模型文件(例如,"flux-ip-adapter.safetensors")。

  • 选择合适的 clip vision(例如,"clip_vision_l.safetensors")。

  • 选择运行模型的设备(例如,CPU 或 GPU)。

2. 将 FLUX-IP-Adapter 应用于基础模型

  • 将 "Flux Load IPAdapter" 节点的输出连接到 "Apply Flux IPAdapter" 节点。

  • 使用 "UNETLoader" 节点加载基础模型,并将其输出连接到 "Apply Flux IPAdapter" 节点。

  • 在 "Apply Flux IPAdapter" 节点中设置所需的混合强度(例如,0.92),以控制 IP-Adapter 对基础模型的影响。

3. 提供输入图像和文本条件

  • 使用 "LoadImage" 节点加载输入图像,并将其输出连接到 "ImageScale" 节点。

  • 使用 "ImageScale" 节点将输入图像缩放到所需分辨率。

  • 将 "ImageScale" 节点的输出连接到 "Apply Flux IPAdapter" 节点。

使用 "CLIPTextEncodeFlux" 节点提供图像生成过程的文本条件。输入所需的文本提示,并将其输出连接到 "XlabsSampler" 节点。

4. 配置采样设置并生成

  • 在 "XlabsSampler" 节点中设置以下参数:采样步骤:采样过程的步骤数(例如,50)。

  • 采样方法:使用的采样方法(例如,"fixed")。

  • CFG 规模:控制文本条件影响的无分类指导规模(例如,3.5)。

  • 种子:用于再现性的随机种子(设置为 "-1" 以使用随机种子)。

  • 许可证:FLUX-IP-Adapter 模型权重遵循 FLUX.1 [dev] 非商业许可证