因为最近在学习mac上的本地ai绘图,用到的主要是stable diffusion webui插件配合drawthings进行绘画。所以就需要drawthings的相关信息。官网和相关教程比较少,所以我找到了drawthings的官方文档,翻译成中文,方便自己使用,也方便有需要的同学。

Drawthings显著的降低了AI绘画的门槛,我也尝试用我的iPhone13pro来绘制,完全没有问题。通过LCM的SDXL模型可以很快的绘制。

后续可能慢慢的来写一些本地AI绘画的教程。AI绘画其实已经并不新鲜了,但是还是有很多设计师碍于大量的门槛和错误导致自己不愿意去尝试,曾经的我其实就是其中一员。我曾经就比较依赖midjourney、GPT等云服务去ai绘画,从来没有愿意用过本地的ai绘画(之前尝试发现出图质量很差)。但其实只是因为自己没有深入研究。

stable diffusion对于我来说缺点在于:你需要添加大量的增加图像质量的关键词(SDXL已经缓解这个情况),生成的图像质量非常取决于你的经验和操作(midjourney可以很低的关键词量输出很高质量的图像,崩坏概率低)。但是优点是可以输出没有限制的敏感图像和支持更加深度的控制。在我用了一段时间之后,我觉得它无法被云服务替代。

Drawthings界面

界面

1 - 配置 - 在这里,您可以将配置保存为模板,它将保存模板下面的所有设置。您可以保存任意多个模板,并在它们之间切换和共享。

2 - 提示窗口 - 您可以在此输入您的提示。首次打开应用时,它将显示随机提示。您可以尝试并生成图片。旁边是负面提示窗口。它用于显示您不想在生成的图片上看到的内容。对于 iPhone,您必须向左滑动提示窗口才能看到负面提示窗口,请注意提示窗口旁边的箭头。

3 - 提示滑块 - 移动此滑块可查看历史提示。

4 - 生成 - 点击后,将生成包含所有设置和提示的图片。对于 iPhone,长按可生成最多 10 张图片。

5 - 与 iPhone 的 4 相同,在这里您最多可以选择 100 张图片相继生成。

6 - 图层 - 点击此处将打开所有支持图层的列表。从控制设置中选择任何controlNET时,在其下方会看到输入,以及所选controlNET使用的图层。Pose 图层可以从真实图片中提取姿势。深度图 可以从 iPhone 的人像照片中提取深度。它支持打开姿势骨骼和深度图图像。

7 - 缩放 - 在这里你可以选择画布缩放。或者你也可以像在 iPhone 上拍照一样,通过手势手动放大/缩小。

8 - 预设 - 从设置部分下载模型后,您可以在此快速启动缩放或面部修复。或者使用自定义脚本(在 Discord 上找到它们,或者在了解自己在做什么后自己制作)。

9 - 项目 - 在这里可以启动新项目、加载旧项目或重命名项目。这些文件存储在应用程序、本地和绘图文件中。长时间使用后,这些文件会变得很大,因此要手动清理以节省空间。

导入模型

点击模型菜单后,您将看到已准备好的模型列表。这些模型功能齐全,已准备好供使用。请务必让应用程序下载所有文件(在 iOS 系统中不要将应用程序关闭到后台),否则会导致问题。 8 位机型的文件大小为 800MB,普通 1.5 机型的文件大小为 1.8GB,SDXL 机型的文件大小接近 10GB。

点击 “管理 “后,新窗口将打开,您将看到用于下载/删除的模型列表、用于导出和创建 8 位模型的三个圆点。在该窗口中,您可以为模型选择外部文件夹

在底部,下一个图标是导入模型,您可以在此手动导入模型。请仔细阅读说明。您可以从 civitai 网站下载模型,或者使用下载模型旁边的绿色播放按钮,在这里您可以选择绘制内容,它会自动打开导入模型窗口并预填一些设置。如果模型有外部 VAE(它已经不在模型中了),不要忘记先下载它,然后插入模型进行导入,插入下载的 VAE 后点击导入。

最后一个右键是模型混合。在这里,您可以将更多模型混合在一起,创建自己的混合模型。

加权总和:您可以选择两个或多个模型并将它们组合在一起,如模型 1 通用 1.5 模型,模型 2 任何 V3。通用模型选择 0,3,Anything 模型将自动设置为 0,7。这意味着最终模型将有 30% 来自通用模型,70% 来自 Anything 模型。

Add difference: 当您要用其他模型制作快速内画模型时,模型 1 必须是内画模型 1.5(因为您要在此模型中添加差异)。模型 2 将是您要添加到内绘制中的模型,例如 Anything V3。对于模型 3,重要的是找到基础模型。它必须是基于模型 2 的模型(civitai 在描述中显示了大多数模型的相关信息)。因此,Anything 基于通用 1.5 模型,所以模型 3 必须是通用 1.5。现在您可以尝试将模型 2 设置为 0.8,以获得最佳结果。如果结果不理想,可以尝试降低或提高数值,然后再试一次。

添加lora和训练自己的lora

限制:现在,1.5 模型的 Lora 至少需要配备 8GB 内存的 iPad,使用8bit模型网络尺寸不高于默认值。在训练时,iPhone 15 PRO 模型可能会崩溃,但您可以尝试使用 8 位模型并将网络尺寸设置为 8bit。对于SDXL Lora,你需要配备大内存的强大硬件。

点击设置中 Lora 旁边的菜单,您可以下载预制 Lora。点击管理后,您将看到所有萝拉的列表。您可以从这里下载/删除它们。点击三个点导出/创建 8 位模型。

中间第二个菜单是导入 Lora。与导入模型一样,您可以选择本地文件,也可以使用下载旁边的绿色播放小按钮直接从 civitai 导入,并选择绘制内容。别忘了填写触发词。这个词会添加到提示中。这个词将触发 Lora。选择 “Lora “后,菜单下会有滑块来选择 “Lora 强度“。您可以通过点击所选 Lora 旁边的加号按钮来选择多个 Lora

最后一个按钮用于Lora训练。在这里您可以训练自己的Lora。不要忘记再次阅读此处的所有说明。对于基础模型,您可以选择基础 1.5 或逼真视觉(用于逼真照片),也可以选择任何动漫图片等。这取决于您想要实现的外观或风格。触发词 是触发 Lora 的特殊词语。它必须是独一无二的,不要使用 “Bieber”这样的词,否则它会将你的 Lora 与歌手的照片混在一起。在获得一定经验之前,您可以保留其他默认设置。训练步数,你可以先降低到 500-1000 步,看看效果如何。当你使用大量步数或高学习率时,你的模型将过熟,它将只生成烧焦的照片或噪点。当您在导入照片前预填自动填充提示时,这里的文字将填充所有导入的照片。只需 10 或 15 张人物或风格的照片,就能制作出很好的 Lora。不需要上百张。宁缺毋滥。试验或尝试其他用户的设置

您还可以查看 YouTube 上关于Lora训练的教程,您会发现其中有很多关于如何训练好Lora的经验,这里的大部分参数都与自动 kohya-ss 类似。

使用ControlNET

设置中的另一个菜单是控制。您可以在其中选择要使用的控件。从列表中选择任何控件后,控件下方会出现输入,在这里你可以找到 controlNET 使用的层。如果你想了解更多关于不同 controlNET 的信息,请使用 Google。或者查看旧教程部分,这里有一些链接。

管理菜单中,您可以下载/删除 controlNET 或导入其他 controlNET。现在不支持导入 SDXL controlNET。

您可以将不同的 controlNET 合并在一起,如 Lora,只需点击 controlNET 菜单旁边的加号按钮并添加另一个即可。

Textual inversion 快速教程

首先您需要打开设置,然后点击设置底部的文本反转管理按钮请在此处阅读说明。

之后,从列表中下载一些TI或导入您自己的(将它们放在下载文件夹中,就像导入模型和导入它们一样)。你可以在谷歌上找到他们的名字。Civitai也有Textual inversion。别忘了检查哪个Textual inversion 是哪个模型版本的。

提示符中的用法

您必须将您的关键字放在这<>两者之间。例如:<Birb_style><carhelper>或写<>带回形针的图标(在提示词下方),当您长按/右击它时,您可以从新菜单中选择TI。此菜单已过滤,因此您将只看到完全针对型号制造的兼容TI,因此1.X型号的Textual inversion v1和2.X型号的Textual inversion v2。

你也可以强调Textual inversion。按以下格式使用:(<Something>:1.2)

您可以同时使用多个Textual inversion提示。

如果不能正常工作

首先,您可以尝试进入设置,然后点击这里的重置为默认值。然后进入设置,在底部找到处理器图标,打开后也可以点击此处重置为默认设置。之后,你就可以启动新项目,并使用默认设置生成。

第二步是**重新安装应用程序,但___不要忘记备份文件___**。