首页 星云 工具 资源 星选 资讯 热门工具
:

PDF转图片 完全免费 小红书视频下载 无水印 抖音视频下载 无水印 数字星空

ComfyUI插件:IPAdapter_plus(新版)节点

编程知识
2024年07月26日 14:05

ComfyUI插件:IPAdapter_plus(新版)节点

前言:

学习ComfyUI是一场持久战,而IPAdapter_plus是常用且便捷有效的风格迁移模型,可以通过提供参考图像去进行图像的生成,比如风格迁移,风格融合,人物脸部模拟等各种工作,请大家重点关注本篇内容,深刻理解节点用法!!祝大家学习顺利,早日成为ComfyUI的高手!

目录

一、IPAdapter Advanced/ IPAdapter/ IPAdapter Batch (Adv.)节点

二、IPAdapter Unified Loader FaceID/ IPAdapter Unified Loader/ IPAdapter Unified Loader Community节点

三、IPAdapter FaceID/ IPAdapter FaceID Batch节点

四、IPAdapter Tiled/ IPAdapter Tiled Batch节点

五、IPAdapter Embeds/ IPAdapter Combine Embeds/ IPAdapter Encoder节点

六、IPAdapter Noise/ Prep Image For ClipVision节点

七、“参考人物换装更换”示例工作流

一、IPAdapter Advanced/ IPAdapter/ IPAdapter Batch (Adv.)节点

这三个节点用来将IPAdapter模型的效果注入到大模型中去引导扩散。

1

输入:

model → 模型

ipadapter → IP适配器

image → 图像

image_negative → 负图像

attn_mask → 注意力掩码

clip_vision → CLIP视觉

参数:

weight → 权重

weight_type → 权重类型

combine_embeds → 合并嵌入 可选项为concat、add、subtract、average、norm average

start_at → 起始位置

end_at → 结束位置

embeds_scaling → 嵌入缩放;默认为'V only',可选项为'V only'、'K+V'、'K+V w/ C penalty'、'K+mean(V) w/ C penalty'

'V only':仅对视觉嵌入(V)进行缩放操作,保持其他嵌入不变。

'K+V':对键(K)和视觉嵌入(V)进行缩放操作,保持其他嵌入不变。

'K+V w/ C penalty':对键(K)和视觉嵌入(V)进行缩放操作,并在缩放过程中对C惩罚,保持其他嵌入不变。

'K+mean(V) w/ C penalty':对键(K)和视觉嵌入(V)进行缩放操作,但是在缩放视觉嵌入时使用均值进行,同时对C进行惩罚,保持其他嵌入不变。

输出:

MODEL → 输出嵌入信息之后的模型

示例:如下图所示,使用SDXL的大模型,对weight_type的四种变化方式进行了测试,可以看出权重类型的不同变换方式对最终图像的生成有很大的影响。

2

示例:如下图所示,对四种不同的嵌入方式进行了一一实验,大家可自行对比择优选择。

3

功能:

①IPAdapter Advanced 节点提供了更多高级选项和参数,以实现对图像的精细控制。该节点通常用于需要更精确调整和优化图像的情况。主要功能包括:

· 高级图像处理选项:提供一系列高级图像处理算法和参数,可以对图像进行详细的调整和优化。

· 多种滤镜和效果:允许用户应用多种滤镜和效果,以实现特定的图像风格或增强效果。

· 自定义参数:提供更灵活的自定义参数设置,用户可以根据具体需求调整每个处理步骤的参数。

②IPAdapter 节点是基本的图像处理和调整节点,提供了常用的图像处理功能。适用于大多数普通图像处理任务。主要功能包括:

· 基本图像处理功能:如裁剪、调整大小、旋转、颜色调整等。

· 预设滤镜和效果:包含一些常用的滤镜和效果,用户可以快速应用这些预设来调整图像。

· 参数设置:允许用户对基本参数进行调整,以实现所需的图像效果。

③IPAdapter Batch (Adv.) 节点专为处理大量图像而设计,适用于批量处理场景。主要功能包括:

· 批量处理:支持一次处理多张图像,提高处理效率。

· 高级处理选项:提供与IPAdapter Advanced相同的高级选项和参数,确保批量处理时仍然可以进行精细控制。

· 自动化工作流程:支持自动化设置和参数调整,减少手动操作,提高工作效率。

二、IPAdapter Unified Loader FaceID/ IPAdapter Unified Loader/ IPAdapter Unified Loader Community节点

这三个节点是用来自动加载IPAdapter和其对应的CLIP version模型的,不需要自己对应加载。

4

输入:

model → 要应用模型的对象

ipadapter → IPAdapter 模型的配置信息

参数:

preset → 预设的模型配置

lora_strength → LoRA 模型的强度参数

provider → InsightFace 模型的提供程序

输出:

MODEL → 输出选择的模型

ipadapter → IPAdapter 模型的配置信息

示例:如下图所示,给出了IPAdapter Unified Loader FaceID的一般用法,该节点可以自动加载对应的lora,clip version和insightface模型,不需要自己进行指定,同理另外两个节点也可以自行适配不需额外的指定。

5

功能:

①IPAdapter Unified Loader FaceID 节点专为处理人脸识别和人脸数据加载设计,适用于需要对人脸数据进行统一处理的应用场景。主要功能包括:

· 人脸识别加载:能够从数据集中加载人脸图像,确保图像数据格式一致。

· 特征提取:提取人脸特征用于进一步处理或分析。

· 人脸对齐:自动对齐人脸图像,以便后续处理步骤中更容易处理。

②IPAdapter Unified Loader 节点是一个通用的图像数据加载节点,适用于需要统一处理和格式化图像数据的场景。主要功能包括:

· 统一数据加载:从各种来源加载图像数据,并将其格式化为统一的数据格式。

· 基本预处理:包括图像裁剪、调整大小、颜色调整等基本预处理功能。

· 数据规范化:确保所有加载的图像数据都符合统一的规范和标准,方便后续处理。

③IPAdapter Unified Loader Community 节点专为社区数据集设计,适用于加载和处理来自社区的数据集。主要功能包括:

· 社区数据集支持:支持从各种社区来源加载图像数据,例如开源数据集、公共数据集等。

· 数据整合:将来自不同社区的数据集整合为统一格式,便于统一处理。

· 社区特定预处理:提供针对社区数据集的特定预处理选项,确保处理流程优化。

三、IPAdapter FaceID/ IPAdapter FaceID Batch节点

这两个节点是用来识别人物的脸部,然后控制生成的图像跟参考图像的脸部相似,Batch节点可以批量的输入参考图像。

6

输入:

model → 要应用模型的对象

ipadapter → IPAdapter 模型的配置

image → 图像输入

image_negative → 负图像输入

attn_mask → 注意力掩码

clip_vision → CLIP 视觉模型

insightface → InsightFace 模型

参数:

weight → 权重参数

weight_faceidv2 → FaceIDv2 权重参数

weight_type → 权重类型

combine_embeds → 嵌入组合方式

start_at → 起始位置

end_at → 结束位置

embeds_scaling → 嵌入缩放方式

输出:

MODEL → 输出选择的模型

示例:使用faceID之前,对图片要进行预处理,处理成为224*224的正方形才能提供给视觉编码模型,如果在原始图像中画蒙版,那么蒙版区域与处理后的图像并不贴合,所以会导致生成的图像并不像原图。

7

示例:ipadapter faceID batch节点可以同时批量处理图像8

功能:

①IPAdapter FaceID 节点专为单张人脸图像的处理和识别设计,适用于需要对单个人脸图像进行识别和处理的场景。主要功能包括:

· 人脸检测:识别人脸图像中的面部区域。

· 特征提取:从人脸图像中提取独特的面部特征用于识别。

· 匹配和识别:将提取的面部特征与已有数据库中的特征进行匹配,以识别身份或验证身份。

· 图像预处理:包括图像裁剪、调整大小、对齐和颜色调整等基本预处理操作。

②IPAdapter FaceID Batch 节点专为批量处理人脸图像设计,适用于需要一次处理多张人脸图像的场景。主要功能包括:

· 批量处理:支持一次处理多个图像,极大提高了处理效率。

· 人脸检测和特征提取:与IPAdapter FaceID相同,进行人脸检测和特征提取,但能够同时处理多个图像。

· 批量匹配和识别:对多个图像中的人脸特征进行匹配和识别,适用于大规模人脸识别任务。

· 自动化处理:提供自动化处理选项,减少手动操作,适用于需要高效处理大量人脸图像的场景。

四、IPAdapter Tiled/ IPAdapter Tiled Batch节点

这两个节点可以输入非正方形的图像,然后对整体分块进行参考,让最终生成的图像参考原图的全部信息。

9

输入:

model → 要应用模型的对象

ipadapter → IPAdapter 模型的配置

image → 图像输入

image_negative → 负图像输入

attn_mask → 注意力掩码

clip_vision → CLIP 视觉模型

参数:

weight → 权重参数

weight_type → 权重类型

combine_embeds → 嵌入组合方式

start_at → 起始位置

end_at → 结束位置

sharpening → 锐化程度

embeds_scaling → 嵌入缩放方式

输出:

MODEL → 输出最终的模型信息

mask → 如果输入有蒙版,会输出分块后的蒙版信息

tiles → 输出分块的结果

示例:

10

示例:如下图所示,在原图中绘制蒙版,然后将蒙版传入Tiled节点之后,节点会对蒙版也进行相应的裁剪和原始图像一一对应,最终生成的图像只参考蒙版区域进行模仿。

11

功能:

①IPAdapter Tiled节点用于处理单张大分辨率图像,通过将图像分成多个较小的块进行处理。主要功能包括:

· 图像分块:将大分辨率图像分成多个小块,以便更高效地处理和分析。

· 分块处理:对每个图像块单独进行处理,例如滤镜应用、特征提取等。

· 重组图像:处理完成后将各个图像块重新组合,恢复为完整的图像。

· 处理优化:通过分块处理减少内存消耗和处理时间,适用于处理高分辨率图像或复杂图像处理任务。

②IPAdapter Tiled Batch节点用于批量处理多个分块的图像,适用于需要一次处理多张大分辨率图像的场景。主要功能包括:

· 批量图像分块:支持一次将多张图像分成多个小块进行处理。

· 批量分块处理:对每个图像块进行批量处理,适用于大规模图像处理任务。

· 批量重组图像:处理完成后将多个图像的块重新组合,恢复为完整的图像。

· 高效处理:通过批量和分块处理,显著提高处理效率和资源利用率,适用于需要处理大量高分辨率图像的应用场景。

五、IPAdapter Embeds/ IPAdapter Combine Embeds/ IPAdapter Encoder节点

这三个节点组合使用,分别是对原始图像进行编码处理,合并编码后的结果,编码结果来影响模型的扩散。

12

输入:

model → 要应用模型的对象

ipadapter → IPAdapter 模型的配置

pos_embed → 正向嵌入

neg_embed → 负向嵌入

image → 图像输入

attn_mask → 注意力掩码

clip_vision → CLIP 视觉模型

embedx → 嵌入的条件信息

参数:

weight → 权重参数

weight_type → 权重类型

combine_embeds → 嵌入组合方式

start_at → 起始位置

end_at → 结束位置

输出:

MODEL → 输出最终的模型信息

embed → 嵌入编码信息

示例:

13

功能:

①IPAdapter Embeds节点用于从图像中提取特征嵌入,生成用于后续处理或分析的特征向量。主要功能包括:

· 特征提取:从输入图像中提取重要特征,生成特征向量(嵌入)。

· 图像表示:将图像数据转换为低维度的特征向量,以便于后续的处理和分析。

· 多种模型支持:支持使用不同的预训练模型来提取特征嵌入,适用于各种图像处理任务。

②IPAdapter Combine Embeds节点用于将多个特征嵌入进行组合,生成一个新的综合特征嵌入。主要功能包括:

· 特征组合:将多个输入的特征嵌入进行融合,生成一个综合的特征向量。

· 多种组合方法:支持多种特征组合方法,如加权平均、拼接等,适应不同的处理需求。

· 增强特征表示:通过组合多个特征嵌入,提高特征表示的丰富性和鲁棒性,适用于复杂图像分析任务。

③IPAdapter Encoder节点用于对图像进行编码,将图像数据转换为特征嵌入。主要功能包括:

· 图像编码:将输入图像通过编码器模型,转换为特征嵌入。

· 模型训练支持:支持使用预训练模型或自定义训练的编码器模型进行编码。

· 特征表示优化:通过编码过程,优化图像特征的表示,便于后续处理或分析。

六、IPAdapter Noise/ Prep Image For ClipVision节点

这两个节点,一个是用来将原图加上噪声,并可以设置一定的控制方法,比如shuffle,第二个节点是将原始图像进行裁剪去生成适合视觉编码的图像。

14

输入:图像信息

参数:

type → 噪声类型

strength → 强度

blur → 模糊程度

interpolation → 插值方式

crop_position → 裁剪位置

sharpening → 锐化程度

输出:处理后的图像信息

示例:

15

功能:

①IPAdapter Noise 节点用于添加或处理图像中的噪声,常用于数据增强或图像处理的特定需求。主要功能包括:

· 添加噪声:在图像中添加随机噪声,以增强数据的多样性,通常用于训练深度学习模型时的数据增强。

· 噪声类型:支持多种噪声类型,如高斯噪声、椒盐噪声等,用户可以根据需要选择合适的噪声类型。

· 噪声强度:允许用户调整噪声的强度,以控制添加噪声的量级和影响。

②Prep Image For ClipVision 节点用于将图像数据预处理为适合ClipVision模型输入的格式和规范。主要功能包括:

· 图像调整:调整图像的尺寸和分辨率,使其符合ClipVision模型的输入要求。

· 图像归一化:对图像数据进行归一化处理,以匹配ClipVision模型的输入规范,通常包括将像素值缩放到特定范围(如0-1或-1到1)。

· 颜色处理:调整图像的颜色通道顺序或进行颜色归一化,以确保输入图像与ClipVision模型的训练数据一致。

七、“参考人物换装更换”示例工作流

熟练使用以上节点,你就可以搭建“参考人物换装更换”的工作流了。

16

该工作流输入两张图像,一张原始人物图像用来参考脸部和发型,一张一幅图像,用来作为衣服参考,衣服参考图像通过segment anything节点去抠图生成衣服对应的蒙版然后进行embed,人物直接进行embed,人物图像会加入噪声编码后去作为neg embed,然后去控制采样器出图,最终结果如下:

17

**孜孜以求,方能超越自我。坚持不懈,乃是成功关键。**

From:https://www.cnblogs.com/LIU-QiuXue/p/18325383
本文地址: http://shuzixingkong.net/article/457
0评论
提交 加载更多评论
其他文章 缓存框架 Caffeine 的可视化探索与实践
Caffeine作为一个高性能的缓存框架而被大量使用。本文基于Caffeine已有的基础进行定制化开发实现可视化功能。
缓存框架 Caffeine 的可视化探索与实践 缓存框架 Caffeine 的可视化探索与实践 缓存框架 Caffeine 的可视化探索与实践
一文详解 JuiceFS 读性能:预读、预取、缓存、FUSE 和对象存储
在高性能计算场景中,往往采用全闪存架构和内核态并行文件系统,以满足性能要求。随着数据规模的增加和分布式系统集群规模的增加,全闪存的高成本和内核客户端的运维复杂性成为主要挑战。 JuiceFS,是一款全用户态的云原生分布式文件系统,通过分布式缓存大幅提升 I/O 吞吐量,并使用成本较低的对象存储来完成
一文详解 JuiceFS 读性能:预读、预取、缓存、FUSE 和对象存储 一文详解 JuiceFS 读性能:预读、预取、缓存、FUSE 和对象存储 一文详解 JuiceFS 读性能:预读、预取、缓存、FUSE 和对象存储
PixiJS源码分析系列:第三章 使用 canvas 作为渲染器
使用 canvasRenderer 渲染 上一章分析了一下 Sprite 在默认 webgl 渲染器上的渲染,这章让我们把目光聚集到 canvasRenderer 上 使用 canvas 渲染器渲染图片的 demo 要使用 canvas 作为渲染器,我们需要引用 pixi-legacy.js /bu
PixiJS源码分析系列:第三章 使用 canvas 作为渲染器 PixiJS源码分析系列:第三章 使用 canvas 作为渲染器 PixiJS源码分析系列:第三章 使用 canvas 作为渲染器
基于.NET开源、强大易用的短链生成及监控系统
前言 今天大姚给大家分享一个基于.NET开源(MIT License)、免费、强大易用的短链生成及监控系统:SuperShortLink。 项目介绍 SuperShortLink是一个基于.NET开源(MIT License)、免费、强大易用的短链生成及监控系统,包含了短URL的生成、短URL跳转长
基于.NET开源、强大易用的短链生成及监控系统 基于.NET开源、强大易用的短链生成及监控系统 基于.NET开源、强大易用的短链生成及监控系统
前端性能优化实践方向与方法
0x01 代码优化与压缩 (1)HTML 移除不必要的空白字符、注释和冗余标签,以减少文件大小 使用命令 npm install html-minifier -g 安装 HTML Minifier 使用命令 html-minifier -V 确认安装成功 在 Node.js 环境中配置 index.
前端性能优化实践方向与方法
C#中使用 record 的好处 因为好用所以推荐~
一晃距C# 9发布已经4年了,对于record关键字想必大家都不陌生了,不过呢发现还是有很多同学不屑于使用这个语法糖,确实,本质上 record 就是 class 的封装,能用 record 书写的类,那100%都是可以自己手撸出来的,但是呢有没有考虑 别人可能一分钟写好的代码你可能会需要数分钟才能
《最新出炉》系列入门篇-Python+Playwright自动化测试-54- 上传文件(input控件) - 上篇
1.简介 在实际工作中,我们进行web自动化的时候,文件上传是很常见的操作,例如上传用户头像,上传身份证信息等。所以宏哥打算按上传文件的分类对其进行一下讲解和分享。 2.上传文件的API(input控件) Playwright是一个现代化的自动化测试工具,它支持多种浏览器和操作系统,可以帮助开发人员
《最新出炉》系列入门篇-Python+Playwright自动化测试-54- 上传文件(input控件) - 上篇 《最新出炉》系列入门篇-Python+Playwright自动化测试-54- 上传文件(input控件) - 上篇 《最新出炉》系列入门篇-Python+Playwright自动化测试-54- 上传文件(input控件) - 上篇
空间反演对称性 (Spatial Inversion Symmetry) 和非线性响应 (Non-linear Response)
我们定义一次宇称变换 (parity transformation) 为反转所有坐标: \[\mathcal{P}: \begin{pmatrix} x \\ y \\ z \end{pmatrix} \rightarrow \begin{pmatrix} -x \\ -y \\ -z \end{p
空间反演对称性 (Spatial Inversion Symmetry) 和非线性响应 (Non-linear Response) 空间反演对称性 (Spatial Inversion Symmetry) 和非线性响应 (Non-linear Response) 空间反演对称性 (Spatial Inversion Symmetry) 和非线性响应 (Non-linear Response)