打造中国最大的
AI信息汇总平台


今年很火的 AI 绘画怎么玩

今年很火的 AI 绘画怎么玩插图

1.前言

2022年绝对可以说是AIGC元年,从google搜索的趋势来看,在2022年AI绘画及AI生成艺术的搜索量激增。

640.jpg

AI绘画在这一年的爆发一个很重要的原因就是 Stable Diffusion 的开源,这也来不开这几年 Diffusion Model 扩散模型在这几年里的迅猛发展,结合了 OPENAI 已经发展得很成熟的文本语言模型 GPT-3,从文本到图片的生成过程变得更加容易。

2.GAN(生成对抗网络)的瓶颈

从14年诞生,到18年的StyleGAN,GAN在图片生成领域获得了长足的发展。就好像自然界的捕食者与被捕食者相互竞争共同进化一样,GAN的原理简单来说就是使用两个神经网络:一个作为生成器、一个作为判别器,生成器生成不同的图像让判别器去判断结果是否合格,二者互相对抗以此训练模型。

640.png

GAN(生成对抗网络)经过不断发展其有了不错的效果,但有些始终难以克服的问题:生成结果多样性缺乏、模式坍缩(生成器在找到最佳模式后就不再进步了)、训练难度高。这些困难导致 AI 生成艺术一直难以做出实用的产品。

2.Diffusion Model(扩散模型)的突破

在 GAN 多年的瓶颈期后,科学家想出了非常神奇的 Diffusion Model(扩散模型)的办法去训练模型:把原图用马尔科夫链将噪点不断地添加到其中,最终成为一个随机噪声图像,然后让训练神经网络把此过程逆转过来,从随机噪声图像逐渐还原成原图,这样神经网络就有了可以说是从无到有生成图片的能力。而文本生成图片就是把描述文本处理后当做噪声不断添加到原图中,这样就可以让神经网络从文本生成图片。

6401.png

Diffusion Model(扩散模型)让训练模型变得更加简单,只需大量的图片就行了,其生成图像的质量也能达到很高的水平,并且生成结果能有很大的多样性,这也是新一代 AI 能有难以让人相信的「想象力」的原因。

当然技术也是一直在突破的,英伟达在1月底推出的StyleGAN的升级版StyleGAN-T就有了十分惊艳的进步,在同等算力下相比于Stable Diffusion生成一张图片需要3秒,StyleGAN-T仅需0.1秒。并且在低分辨率图像StyleGAN-T要比Diffusion Model要好,但在高分辨率图像的生成上,还是Diffusion Model的天下。由于StyleGAN-T并没有像Stable Diffusion那样获得广泛的应用,本文还是以介绍Stable DIffusion为主。

3.Stable Diffusion

在今年早些时间,AI作画圈经历了 Disco Diffusion、DALL-E2、Midjouney 群雄混战的时代,直到 Stable Diffusion 开源后,才进入一段时间的尘埃落定,作为最强的 AI 作画模型,Stable Diffusion 引起了 AI 社群的狂欢,基本上每天都有新的模型、新的开源库诞生。尤其是在Auto1111的WebUI版本推出后,无论是部署在云端还是本地,使用Stable Diffusion都变成一个非常简单的事情,并且随着社区的不断开发,很多优秀的项目,比如Dreambooth、deforum都作为 Stable Diffusion WEBUI版的一个插件加入进来,使得像微调模型、生成动画等功能都能一站式完成。

6402.png

4.AI绘画玩法及能力介绍

下面介绍下目前使用 Stable Diffusion 可以有哪些玩法以及能力

11.jpg
12.jpg
14.jpg
15.jpg

5.目前主要应用情况介绍

19.jpg
31529880d6c24b11bc54dde744214084.jpeg

6.自己搭一个Stable Diffusion WEBUI服务

6.1 云端版本

这里使用AutoDL提供的云端算力来搭建,也可以使用其他平台比如 Google Colab或者百度飞桨等。

1.首先在AutoDL上注册账号并且租一台 A5000/RTX3090 显卡的云主机。www.autodl.com/market/list

2.以此主机创建镜像,镜像可在 www.codewithgpu.com 上选择已经打包好的算法镜像。这里以 www.codewithgpu.com/i/AUTOMATIC… 这个镜像为例,选择后创建。

6403.png

3.创建后开机并启动JupterLab,

6404.png

运行下面指令启动服务即可。如果遇到系统盘空间不足的情况,也可以将stable-diffusion-webui/文件夹移入数据盘 autodl-tmp再启动。如果遇到启动失败,可以根据你机器的位置配置一下学术资源加速。

bash复制代码cd stable-diffusion-webui/
rm -rf outputs && ln -s /root/autodl-tmp outputs
python launch.py --disable-safe-unpickle --port=6006 --deepdanbooru

6.2 本地版本

如果你有一块显卡还不错的电脑,那可以部署在本地,这里介绍下Windows版本的搭建:

1.首先需要安装Python 3.10.6,并且添加环境变量到Path中

2.安装git

3.Clone Stable Diffusion WEBUI 的工程代码到本地

4.将模型文件放置于 models/Stable-Diffusion目录下,相关模型可以去huggingface.co/ 下载

5.运行 webui-user.bat,通过本机电脑ip及7860端口访问服务。

7.总结

本文介绍了AI绘画的一些相关的信息,感兴趣的朋友也可以自己把服务部署起来,自己试着学习用DreamBooth或者最新的Lora微调一下大模型。相信在2023年,随着 AIGC 热度的不断提高,我们的工作和生活都会因为 AI 带来巨大的改变。前段时间 ChatGPT的推出给我们带来了巨大的震撼,就好像刚进入互联网时期搜索信息的能力一样,今后学会使用 AI 来辅助我们的工作也将是一个非常重要的能力。

8.参考资料

  1. 从起因到争议,在 AI 生成艺术元年聊聊 AI sspai.com/post/76277
  2. 神经网络学习笔记6——生成式AI绘画背后的的GAN与Diffusion初解 blog.csdn.net/qq_45848817…
  3. How diffusion models work: the math from scratch
    theaisummer.com/diffusion-m…
  4. GAN 结构概览
    developers.google.com/machine-lea…
  5. The absolute beginners guide to Midjourney – a magical introduction to AI art www.entrogames.com/2022/08/abs… magical-introduction-to-ai-art/
  6. The viral AI avatar app Lensa undressed me—without my consent www.technologyreview.com/2022/12/12/… lensa-undressed-me-without-my-consent/
  7. instruct-pix2pix huggingface.co/timbrooks/i…

文/misotofu

安装掘金浏览器插件

多内容
原文链接:https://juejin.cn/post/7201050872574574653

欢迎免费使用GPT对话,感受ChatGPT的魅力!AI爱好者 – 最具实力的中文AI交流社区平台 (aiahz.com)

长按扫描二维码进群领资源

今年很火的 AI 绘画怎么玩插图13
赞(0) 打赏
未经允许不得转载:AI爱好者 » 今年很火的 AI 绘画怎么玩

评论 抢沙发

欢迎来到AI爱好者

我们旨在打造一个最具实力的中文AI交流社区平台,致力于为所有AI爱好者,创业者和使用者提供优质服务. 我们的宗旨是为广大用户提供免费解决方案,您可以通过问答形式提出与AI相关的任何问题.

AI社区AI工具

安全服务战略合作伙伴:麒麟盾 SCDN

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续提供更多优质内容,让我们一起创建更加美好的网络世界!

微信扫一扫打赏

登录

找回密码

注册