这篇文章带你玩转 AI 绘画

这篇文章带你玩转 AI 绘画

这篇文章带你玩转AI绘画

桔了个仔,人工智能 | 数据科学 | AI风控 | 码农
(本文封面使用 AI(ERINE-ViLG)生成制作,使用的文字为:「帮我做一副封面放在知乎,画中有个猫咪用电脑写代码,赛博朋克风格」)

 

最近这段时间,AI 绘画大火。对于设计师来说,有点忧心忡忡,毕竟 AI 都开始威胁到自己吃饭的本领了。不过,不管打不打得过,加入 AI 绘画创造的队列还是明智的,这篇文章就带大家玩转 AI 绘画。技术原理的我会另外开一篇文章讲,这篇仅仅讲应用,如果你没有技术背景,也可以放心食用。

AI 绘画都有哪些类型1. 文本生成图像(Text2image)

这是最近最火的类型。其中它们很多用的是 diffusion model(扩散模型),有的 AI 模型还会加超分辨率重建模型,增强清晰度。

在使用这类模型时,你需要输入 prompt,也就是你对希望产生的图像的描述。有的模型还支持初始图片,AI 的会基于你指定的图片开始创作。多数是仅支持英文的,不过也有支持中文的。支持中文的我会在介绍里说到,没说到的就是只支持英文的。

这里介绍几个大家上手就能用的:

ERNIE-ViLG 文生图

这是中文领域内比较不错的文生图模型。

文心大模型

示例作品:

 

Midjourney

非开源,需要你加入 Discord 小组给机器人发送 prompt,机器人给你返回结果

Midjourney

这里展示用 midjourney 画出来的效果。对于结果,midjourney 也提供超分辨率重建,提升图片清晰度。

Dream by wombo :

可以说是最简单的了,我不用介绍,大家点开就会用

app.wombo.art/

画出来的效果

Stable Diffusion:

最近最火的绘画 AI 之一。在线 demo:

Stable Diffusion - a Hugging Face Space by stabilityai

绘画效果

源码:

GitHub - CompVis/stable-diffusion

 

Dalle-mini:

demo:

DALL·E mini by craiyon.com on Hugging Face

源码:

github.com/borisdayma/d

画作展示:

适合画场景

不太适合画生物

 

Disco Diffusion

在之前这个回答里面有详细的介绍。可以指定 init_image。Disco Diffusion 需要跑代码,但不一定需要看懂,你知道改哪里就行了。

Disco Diffusion 体验如何?你用它跑出了哪些图?

我用 prompt「concept art, matte painting, in the rainy streets of a cyberpunk city at night, domination of a tall dark, robot wind sorcerer with glowing eyes and a cape, artstation, Greg Rutkowski」,可以画出这样的画作

 

Stable Diffusion,Disco Diffusion, Dalle-mini 之间的比较

又来测评一个最近挺火的 # 人工智能 # #A…​www.zhihu.com/pin/1547932185491038208

 

Clip-GEN

没有 demo,不过提供了源码。

GitHub - HFAiLab/clip-gen: CLIP-GEN: Language-Free Training of a Text-to-Image Generator with CLIP

2. 风格迁移(style transfer)

风格迁移就是把图片 A 按照图片 B 的风格改画,但图片 A 的主体不变。

 

Fast Neural Style Transfer

huggingface.co/spaces/a

画作参考:

 

Neural Style Transfer

这个名字没起好,这个模型把前面讲到的文本生成图片和风格迁移融合在了一起。

Neural Style Transfer - a Hugging Face Space by NeuralStyleTransfer

生成结果示例:

3. 超分辨率(superresolution )/ 图片上采样(Image Upsampling)

又称图片修复,大家可以看到很多老照片修复就是用超分辨率 AI 修复的。这里介绍一些

Real-ESRGAN

demo:

 

huggingface.co/spaces/a

代码:

 

GitHub - xinntao/Real-ESRGAN: Real-ESRGAN aims at developing Practical Algorithms for General Image/Video Restoration.


效果测试

看起来修复动画效果更好

 

SwinIR

demo 地址:

huggingface.co/spaces/a

生成效果:

AI 创作的思路

这里顺便讲讲我使用 AI 创作的思路吧。

思路一:临摹

如果仅仅给 AI 一个文字描述,输出的风格可能不好控制,虽然可以在文本里加一些风格的描述词,但是否感觉就是没有艺术的感觉?不要紧,直接在文本中告诉 AI:

  • 你需要模仿哪个网站的作品。这里总结出了一些我个人感觉很好用的网站关键词: on pixiv(日式动漫风), on artstation(科幻插画风), on 500px(摄影大片风)
  • 或者模仿哪个艺术家的作品。直接在文本中加入 by xxx 就行了。

例如我用 prompt「a castle in the rainforest, trending on artstation」,就能画出这样的效果

这个列表提供了一些艺术家的名字及其艺术风格

Disco Diffusion 70+ Artist Studies

这个网站可以辅助你生成 prompt,包括风格,艺术家名字等等。

promptoMANIA:: prompt builder

思路二:AI 根据描述作画 -> 风格迁移 -> 超分辨率

先给文本生成图像的模型一个你想要的输入,然后把输出作为超分辨率模型的输入。如果你要控制风格,你可以在文本里加一些风格的描述词。

如果风格描述依然不能打造出你想要的风格,可以试试把生成的图片输入到风格迁移 AI 中,产生新的图片。

如果你觉得生成的画作太模糊,可以将输出输入到超分辨率模型。


最后说说

说实话,很多时候即使你描述很具体,AI 作出来的画还是和你希望得到的结果差别很大。毕竟 AI 生成画作不走寻常路,所以多尝试,多学习,感兴趣的甚至可以了解其背后的技术,相信你会感受到,站在艺术和科技的交叉路口是多么的有意思。