英文原文：https://stable-diffusion-art.com/consistent-face/
您是否正在寻找通过 Stable Diffusion 在多个图像中生成一致面部的方法？您可能正在制作故事书或漫画的插图。在这篇文章中，您将找到 3 种生成一致面孔的方法。
- 多个名人名字
- ReActor 扩展
- Dreambooth
- LoRA
- ControlNet IP adapter face
我们将使用 AUTOMATIC1111 稳定扩散 GUI。您可以在 Windows、Mac 或 Google Colab 上使用此 GUI。
如果您是Stable Diffusion的新手，请查看快速入门指南。
使用名人的名字是产生一致面孔的可靠方法。让我们研究下面的基本提示，它会生成一张通用的面孔。
基础提示：
photo of young woman, highlight hair, sitting outside restaurant, wearing dress, rim lighting, studio lighting, looking at the camera, dslr, ultra quality, sharp focus, tack sharp, dof, film grain, Fujifilm XT3, crystal clear, 8K UHD, highly detailed glossy eyes, high detailed skin, skin pores
我们将在本文的其余部分使用相同的否定提示。
disfigured, ugly, bad, immature, cartoon, anime, 3d, painting, b&w
正如我们在提示指南中所研究的那样，名人的名字具有强大的影响力。使用它们是生成一致面孔的行之有效的方法。
让我们在稳定扩散中添加一个响亮的名字——Emma Waston，到提示符中。
Emma Watson, photo of young woman, highlight hair, sitting outside restaurant, wearing dress, rim lighting, studio lighting, looking at the camera, dslr, ultra quality, sharp focus, tack sharp, dof, film grain, Fujifilm XT3, crystal clear, 8K UHD, highly detailed glossy eyes, high detailed skin, skin pores
让我们使用这三个名字：艾玛·沃特森、塔拉·里德和安娜·德·阿玛斯。稳定扩散会将所有 3 个面混合在一起形成一个新面。
Emma Watson, Tara Reid, Ana de Armas, photo of young woman, highlight hair, sitting outside restaurant, wearing dress, rim lighting, studio lighting, looking at the camera, dslr, ultra quality, sharp focus, tack sharp, dof, film grain, Fujifilm XT3, crystal clear, 8K UHD, highly detailed glossy eyes, high detailed skin, skin pores
那挺好的。这些图像中的脸部是一致的。但为什么他们看起来那么……艾玛？原因是艾玛·沃特森是《稳定扩散》中一个非常强的关键词。你必须使用关键词权重来降低她的关注度。在 AUTOMATIC1111 中，您可以使用语法（关键字：权重）对关键字应用权重。
调整每个名字的权重可以让你调整面部特征。我们看到提示：
(Emma Watson:0.5), (Tara Reid:0.9), (Ana de Armas:1.2), photo of young woman, highlight hair, sitting outside restaurant, wearing dress, rim lighting, studio lighting, looking at the camera, dslr, ultra quality, sharp focus, tack sharp, dof, film grain, Fujifilm XT3, crystal clear, 8K UHD, highly detailed glossy eyes, high detailed skin, skin pores
使用多个名人名字和关键词权重来仔细调整您想要的面部特征。您还可以在否定提示中使用名人名字，以避免出现您不想要的面部特征。
尝试多个名人 LoRAs 来实现相同的目标。
AUTOMATIC1111 的 ReActor 扩展可让您将参考照片中的脸部复制到使用稳定扩散生成的图像中。它是 Roop 扩展的一个分支。
Windows 或 Mac
按照以下步骤在 AUTOMATIC1111 中安装 ReActor 扩展。
- 正常启动 AUTOMATIC1111 Web-UI。
- 导航至扩展程序页面。
- 单击“从 URL 安装”选项卡。
- 在扩展程序 git 存储库的 URL 字段中输入以下 URL。
https://github.com/Gourieff/sd-webui-reactor
- 等待安装完成的确认消息。
- 重新启动 AUTOMATIC1111。
我们将使用文本到图像来生成新图像。
photo of a 25 year old woman, new york city standing, skirt, looking at the camera, dslr, ultra quality, sharp focus, tack sharp, dof, film grain, Fujifilm XT3, crystal clear, 8K UHD, highly detailed glossy eyes, high detailed skin, skin pores
disfigured, ugly, bad, immature, cartoon, anime, 3d, painting, b&w
模型: dreamshaperXL_turboDpmppSDE
要使用 ReActor 启用面部交换，请向下滚动到 ReActor 部分。
Enable: Yes
使用清晰的高分辨率图像作为参考脸部。
也许生成相同面孔的最可靠方法是使用 Dreambooth 创建您自己的 Stable Diffusion 模型。
Dreambooth 是一种用您自己的主题或风格创建新的Stable Diffusion检查点模型的技术。在这种情况下，对象将是具有您想要的面孔的人。
请点击此链接查找分步教程。您将需要该人的一些图像。
收集训练图像可能是一个挑战。这里有几个选项。
- 请求您认识的人允许使用他/她的照片。
- 拍一些自拍照。
- 使用上面的多名人名字方法来生成训练图像。
- 使用上面的ReActor方法生成训练图像。
我们将使用 ReActor 生成训练图像。
按照上一节的说明，使用 ReActor 生成 8 到 15 张具有相同脸部的图像。以下是训练图像的两个示例。使用模糊图像就可以了。
按照 Dreambooth 教程 并下载 Dreambooth 训练 Colab 笔记本。
由于我们想要训练具有逼真风格的模型，因此我们将使用 Realistic Vision v2。
MODEL_NAME:
SG161222/Realistic_Vision_V2.0
BRANCH:
main
photo of zwx woman
class就是zwx所属的类别，就是女人。所以class prompt是
photo of woman
通过正确定义类提示，您可以利用模型中女性的所有先验属性并将其应用到您的女孩身上。
按“Play”按钮开始训练。
出现提示时上传训练图像。
这需要一些时间。如果一切顺利，新的模型文件将被保存到指定的输出文件名中。
您可以使用 AUTOMATIC1111 Colab notebook方便地测试您的新模型。如果您不更改两个笔记本的默认路径，则可以加载 dreambooth 模型。
在 AUTOMATIC1111 的检查点下拉菜单中选择新的 dreambooth 模型。
photo of young zwx woman, highlight hair, sitting outside restaurant, wearing dress, rim lighting, studio lighting, looking at the camera, dslr, ultra quality, sharp focus, tack sharp, dof, film grain, Fujifilm XT3, crystal clear, 8K UHD, highly detailed glossy eyes, high detailed skin, skin pores
现在，每次使用关键字 zwx 时，您都会获得一致且锐利的面孔！
LoRA模型是一个用于修改检查点模型的小补丁文件。您可以采用与 Dreambooth 类似的方式训练 LoRA 模型。请参阅本教程以获取分步指南和 Colab 笔记本。
ControlNet 是一种神经网络模型，旨在与稳定扩散模型一起使用来影响图像生成。用户通常使用 ControlNet 从参考图像复制构图或人体姿势。但你知道有一个用于复制人脸的 ControlNet 吗？它被称为 IP-adapter face 模型。
- 确保您的 A1111 WebUI 和 ControlNet 扩展是最新的。
- 下载 ip-adapter-plus-face_sd15.bin 并将其放入 stable-diffusion-webui > models > ControlNet 中。
- 将文件扩展名从 .bin 重命名为 .pth。 （即文件名应为 ip-adapter-plus-face_sd15.pth）
要使用 IP 适配器面部模型复制面部，请转至 ControlNet 部分并上传头像图像。
- Enable: Yes
- Preprocessor: ip-adapter_clip_sd15
- Model: ip-adapter-plus-face_sd15
控制权重应约为 1。您可以使用多个 IP 适配器面对 ControlNet。确保相应地调整控制权重，使其总和为 1。
提示词：
A woman sitting outside of a restaurant in casual dress
负面提示词：
ugly, deformed, nsfw, disfigured