最新动态
AI绘画解锁ComfyUI:从新手到高手的5大进阶方法!
2024-12-27 02:37

ComfyUI全球爆红,以其强大的功能性和灵活性成为了创作者的新宠。但面对复杂的节点和连线,许多初学者可能会感到手足无措。别急,这篇文章将从新手的角度出发,详细解析学习ComfyUI的五个阶段,帮助你轻松驾驭这个强大的工具。

第一阶段:“抄作业”式套用工作流

ComfyUI的工作流具有极高的可迁移性,可以导出、分享、加载,所有节点和参数皆可轻松复现。所以当你还不会制作复杂的工作流时,不妨先从“抄作业”开始。

工作流的加载方式主要有以下3种

1.加载json配置文件

ComfyUI面板上的“Save”(保存工作流)按钮可以把工作流保存为json文件,同样,你可以通过“Load”(加载工作流)按钮读取网上下载的json文件,复现工作流。

2.把含有元数据的图片拖进ComfyUI

将ComfyUI或WebUI生成的图片拖到ComfyUI中,图片蕴含的工作流即被加载。

(例图:带元数据的图片

(例图:带元数据的图片

将代码全部选中复制,然后在ComfyUI中粘贴,工作流便被加载出来。

以上3种“抄作业”的姿势,你都掌握了吗

既然学会抄作业了,那优秀作业要到哪里找呢?首先,ComfyUI的开发者通过ComfyUI example站点分享了许多利用默认的节点功能搭建起来的工作流预设,包括图生图、局部重绘、高清修复、ControlNet生成等,还附有详尽说明,如果你想开始探索ComfyUI,建议先吃透这些自带工作流。

其次,现在已经有非常多ComfyUI工作流的分享网站,一些模型网站也开辟了工作流分享专区。我也收集了不少工作流分享的实用站点,如果你也想保存一份,那不妨关注我,并在后台留言获取这些站点的地址。

第二阶段:自定义节点安装与报错处理

当你尝试加载一些看起来很酷炫的工作流时,可能会遇到满屏飘红、节点报错的问题,这通常是因为缺少对应的自定义节点。

ComfyUI的自定义节点,相当于WebUI里的扩展和插件,想要实现各种复杂的进阶功能,都得靠它们。因此,初学者玩ComfyUI必须要学会的一件事情,便是安装自定义节点。

安装自定义节点有两种方法

1.通过Git Clone安装

首先,你需要在电脑上安装Git软件配置管理(SCM)应用(可通过官网下载,然后找到ComfyUI的本地根目录下的“custom_nodes”文件夹,在custom nodes文件夹的地址栏输入“cmd”,敲回车调出命令行,再输入“git clone”的命令以及节点的代码仓库地址,敲回车,就可以开始下载了。

2.直接下载代码

找到节点的仓库页面,将代码文件压缩包下载,然后解压到custom_nodes文件夹里。

我建议优先使用第一种方法,因为通过Git下载的节点会记录它的仓库和版本信息,日后可动态更新,而下载压缩包的形式置入的节点是离线的,如果有新版本需要手动再去下载。

无论选择哪种方式,安装完新节点以后,都要重启ComfyUI,再次进入界面以后,右键菜单便可看到安装的新节点。

目前几乎每一位ComfyUI用户都必装的一个节点,就是ComfyUI Manager。

ComfyUI manager是由Dr.Lt.Data(@ltdrdata)开发并维护的,是专门用于管理ComfyUI节点的工具。赶快尝试运用刚才介绍的方式把ComfyUI Manager装上吧。这里附上ComfyUI Manager的仓库地址

github.com/ltdrdata/ComfyUI-Manager

安装完毕,重启ComfyUI以后,角落的菜单里便多了一个“Manager”的按钮,点开它,这就是Manager的功能菜单界面了。

ComfyUI Manager 有两个最常见的用途,分别是搜索安装节点,和自动安装缺失节点。

首先是搜索安装节点。点击“自定义节点管理”(Custom Nodes Manager,它会加载一个自定义节点列表,你还可以自由搜索并安装你想要的节点。

当然,这还不是它最厉害的地方,很多人喜欢manager,是因为它具备一个超级省事的功能:自动安装缺失节点。当发生节点缺失的情况时,打开Manager的标签,点击“安装缺失节点”(Install Missing Custom Nodes,它就会自动读取缺失节点,并在线匹配节点。你只需要一个个地点击安装这些节点,把它们都装上就可以了。

第三阶段:了解逻辑和工作原理

这一阶段,你需要深入了解ComfyUI的节点原理和工作流的运行逻辑。ComfyUI是更能揭露SD本质的一个运行界面,钻研它对加深AI绘画工具的底层逻辑理解是有非常大帮助的。

我以ComfyUI默认的文生图工作流为例,分解一下这个最基本的工作流,包含了哪些功能部件,以及它们是如何运行的。

主要分为三个模块:条件输入模块、潜空间模块、像素空间模块。

首先是条件输入模块,包含大模型选择、正负面提示词填写、图片分辨率设定。然后是整个工作流的核心节点:KSampler(K采样器,就是潜空间模块。所谓潜空间,简单来说就是AI处理图像的空间。K采样器会根据前面的条件输入模块的要求,通过不断加噪去噪的过程生成符合要求的图像,但这个图像在潜空间里面还不能直接展示出来,需要通过VAE解码这个节点,把潜空间的图像转变成最终像素空间的图像,这个才是我们最终看到的结果。

第四阶段:深入研究进阶工作流

在理解了ComfyUI的工作原理后,我们就可以更轻松地看懂其他工作流了,大部分工作流都是遵循一样的运行逻辑的。

想不想检验一下自己对工作流运行逻辑的掌握程度?我们就以ComfyUI的开发者分享的几个典型工作流为例,做一个拆解。

高清放大 典型工作流拆解

(1)Hires fix-Latent

把“Hires fix-Latent”工作流拖进ComfyUI,你就可以得到一个标准的文生图高清修复工作流程了。可以看到,这个工作流结构非常简单,无非就是在常规的文生图流程后面增加了一个KSampler。

左侧的节点组包含:一个模型加载器,两个正负面提示词编码器,一个KSampler,和一个设定生成尺寸的空白潜空间图像(Empty Latent)节点。

我们在最左边输入的信息,除了被输送进第一个KSampler生成一张低清的图片,还输入到了后面这个Upscale Latent(潜空间放大)组件里。(Upscale Latent是一个在潜空间里对图像尺寸进行缩放的基本节点,另一个版本是Upscale Latent by,可以按倍数放大或缩小。)通过Upscale Latent放大后的图像会输入到第二个KSampler,最终再一次经过解码、保存,就得到了高清修复后的大图了。

(2)Hires fix-Esrgan

这是借助ESRGAN等传统放大模型来实现高清修复的工作流,比起Latent放大,它中间的结构就显得复杂多了。

第一次采样的结果,会先经过一次解码输出成一张图片,然后再把这张图片输出到“Upscale Image(using Model)”(使用模型放大,而在这个Upscale Image(using Model)节点的前面,还必须先使用一个“Load Upscale Model”(放大模型加载器),加载一个超分辨率模型。经过放大器处理以后的图片,再通过“Upscale Image”(放大图片)的节点调整到最终尺寸。最后,由“Upscale Image”输出的图片进入到VAE编码节点里重新转换成Latent数据进行采样。

简单来说,就是在先生成一张图片的基础上,使用专门的超分辨率放大模型,对图片进行高清放大处理。

局部重绘 典型工作流拆解

把“inpaint_example”这张图片拖进ComfyUI,就会得到一个基本的重绘工作流程

我们很快会发现,这个工作流好像没有地方给我们画蒙版,那怎么让AI知道哪里是要重绘的呢?其实,ComfyUI的蒙版功能非常隐蔽,你需要右键点一下这张图片,在菜单里找到“Open in MaskEditor”(在蒙版编辑器里打开,它会开启一个图片编辑窗口来画蒙版。

图片加载器节点的右侧有两个端口,一个是输出图片信息的,另一个就是输出蒙版信息的。图片加载器的下一个节点叫VAE Encode,和普通的VAE编码器不一样,它是专门为重绘服务的(For Inpainting)。VAE Encode的左侧除了图片、VAE的输入以外,还多了一个蒙版的输入,你可以把它的作用理解为根据蒙版的指示只对蒙版区域做编码,从而控制只在蒙版里做重绘。后面的流程就和普通的图生图没有任何区别了。

第五阶段:创建自己的工作流

折腾了一段时间,我们对ComfyUI的学习算是步入了入门阶段,接下来是你和别人拉开差距的重要一环了,就是开始针对具体的工作和需求,量身定制工作流。关于如何创建工作流的详细内容,我将在后续文章中分享。

    以上就是本篇文章【AI绘画解锁ComfyUI:从新手到高手的5大进阶方法!】的全部内容了,欢迎阅览 ! 文章地址:https://sicmodule.kub2b.com/quote/14027.html 
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 企库往资讯移动站https://sicmodule.kub2b.com/mobile/,查看更多   
发表评论
0评