AI绘图的三个主流算法是Midjourney（MJ）、Stable Diffusion（SD）与DALL·E。目前DALL·E讨论度较低，可能因为视觉表现不如MJ，实用性不如SD。

然而，DALL·E是OpenAI自家产品，其大股东是微软，可能会与微软的其他产品结合。例如，Bing的生成图像工具Image Creator使用DALL·E，但需付费。

MJ因出色的视觉表现，适合生成角色概念、背景视觉概念图与美术设定等，可通过img2img（图生图）方式实现一定程度的视觉控制。

在动画或游戏制作中，通常需要角色与背景的可控性更强以满足需求，SD及其插件ControlNet正擅长此方面。SD是目前唯一开源的视觉生成AI，免费且可商用，对于追求独家风格的工作室非常合适。

目前看来，MJ不太可能开源，订阅月费起价10美元。即使未来版本提升可控性，因无法在本地训练模型，也难以取代SD。

总的来说，MJ是视觉表现工具， SD是 制作取向工具，用户可能在不同阶段使用它们，两者并不冲突，可相互配合。

（SD生成） ?

Midjourney：顶级AI生成视觉工具

MJ适合生成概念设计、背景美术等视觉图，MJV5和Niji5在光影和色彩方面达到画师水准，Niji擅长动漫风格视觉。

Niji的3D风格结合2D动漫感图像是独特的视觉语境。虽然MJ付费版可商用，但有作品未经同意被用于训练的争议。此外，MJ可能导致大量风格雷同图片。 在这个人人能出美图的时代，如何提升作品辨识度是一个问题。

Stable Diffusion：AI绘画必备工具

SD生成的图可能不如MJ强大，但开源特性使其潜力得到充分挖掘，技术人员开发了许多工具，更新速度惊人。SD可在本地端训练自己的专属模型，兼顾安全与隐私。

很多未开始SD的人，要么觉得硬件不足，要么认为安装复杂。

▶算力不够？

硬件不足或无NVIDIA 3060级显卡可选择Google的Colab。Colab允许在浏览器中编写及执行Python程序，相当于拥有云端电脑。虽有限制，但只需网络即可使用。然而，Colab免费版已禁用SD。国内可部署SD的平台如百度飞桨等，需要费用，但对计算机基础者较友好。

▶觉得安装太复杂？

SD的WebUI可直接在浏览器中运行，只需复制粘贴几行命令行即可。

需注意，个人电脑需NVIDIA 3060以上显卡（至少8G），内存至少16G。MAC需M1。

Stable Diffusion 绘画的相关功能

安装完SD后，你需要一个大模型（也称为主模型）来开始生成图片。大模型体积很大，约为2G-8G，扩展名主要为.ckpt或.safetensors。大模型选择众多，选一个适合自己的就好。很多人喜欢在Civitai（C站，需科学上网）下载大、小模型。

若硬盘空间充足，可下载多个大模型试验效果。有了大模型，可开始出图，但许多用户会下载喜欢的小模型搭配，以提高效率。

小模型有多种类别，如LoRA、Textual Inversion等。最常用的是RoLA（Low-Rank Adaptation），体积约为100M-300M。LoRA对出图效果影响巨大，网络上许多精美图片都是通过LoRA绘制出来的。

大小模型都会影响生成图片的风格，大模型为基底，小模型对风格影响更直接。可以先下载别人训练好的小模型，熟悉后再训练自己的RoLA，创作自己的风格。

大模型本地训练麻烦且设备要求高，普通电脑难以应付。个人用户通常训练小模型即可，个人电脑完全可以应付，只需调整一些参数。

▶插件

有了大小模型后，还需插件增加功能。ControlNet是SD的必装插件之一，让制作更易控制，从而使SD成为生产力工具。它可以通过几种方式检测上传的图片，如我常用的canny，提取边缘转为线稿，再通过线稿生成新图片。所产生的图片基于原图渲染，可控制影响程度。除ControlNet外，还有其他工具如inpainting，可对不满意的部分做遮罩，让SD仅重新绘制指定部位。SD有很多细节，网络上有更多详细教程。

SD的未来发展

目前模型生成的单图质量不错，但在连续图片或视频方面，人物造型不稳定、阴影混乱、画面闪烁等问题令人诟病。许多插件试图解决这些问题，但尚无成熟解决方案，需要大量后期处理。视频输出不成熟，SD实际上没有视频生成功能，只能输出多个单图后再组成视频，对硬件要求高，学习也较费劲。如SD能完善这些功能，对视频制作产生巨大影响。

MJ的未来发展

MJ版本发展迅速，V5刚出没多久就有V6消息。MJ研究生成式AI在视觉艺术展现上的可能性，V6版新功能针对3D，具体效果未知，但MJ总是令人期待！

总之，AI发展可用“日新月异”形容。明天的世界，又将不同。