Stable Diffusion 学习应用指南

AI新闻8个月前更新 OneNav
91 0 0

这篇文章给大家提供一个AI绘画工具Stable Diffusion 学习应用指南,回答为什么要学AI绘画,怎么学Stable Diffusion,学了Stable DIffusion怎么应用落地等几个问题,其中应用落地案例是我的个人案例,偏向于B端设计,但原理相通~各领域设计师都可作为参考之用。

学习资料已经放在文末,需要的小伙伴可直接滑动查看!

文章较长,预计阅读时间10分钟,可以先保存收藏后再慢慢阅读

Stable Diffusion 是什么?

Stable Diffusion 目前唯一能实现精准控制生成图像的本地化部署成熟AI绘画工具。在设计工作中可以广泛应用于人像生成、电商营销设计、游戏动漫设计、三维渲染等各种领域。

目前世界上有两款成熟的商业级AI绘画软件—Midjourney和Stable Diffusion。这对于初学者来说往往不知道该如何抉择。所以经常会有很多人问这两个软件有什么差别的问题,该用哪个的问题。先说结论是两个软件各有所长,根据需求选择应用或者组合应用才是最优解。接下来介绍一下两者的差别

第一个差别是Stable Diffusion(简称SD)能精准控制而Midjourney(简称MJ)不能,我认为这是两者最大的差别,目前只有SD能实现通过ControlNet插件通过线稿、人物姿势等方式精确控制生成图像的造型,色彩等方面细节。

MJ生成结果虽然精美,却没有更细致的控制手段。能用MJ满足的需求大可以用MJ,用MJ无法满足的需求再考虑SD也是不错的选择策略。

进一步来说,SD可以通过自主训练模型达到更符合需求的风格定制,IP形象定制等需求,避免同质化输出,而MJ只能选择现有模型,难免相对同质化。

第二个差别是SD免费开源而MJ收费闭源,免费开源的SD本地化软件部署需要高性能显卡支持,MJ收了费用也免去了本地高性能显卡支持。

当然,市面上也有很多收费提供SD云端部署的服务商,可以提供云服务免去硬件需求,同时按时或按量收费,还有一些特定模型在特定方面的表现很不错。这方面想详细了解可以查看本号之前的文章。

云服务还会带来关键词限制,信息安全等相关问题,这方面SD本地化部署有明显优势,不受限制,信息更安全

第三个差别是操作复杂度上SD明显比MJ复杂一个量级,SD生成更好的成果往往需要更多的参数、更多的插件、Lora搭配对应的大模型进行组合应用,而MJ只要掌握提示词的编写和有限的几个参数和模型的应用就能做出很不错的效果。

下图为使用MJ生成一万张后可以进入的Web版本测试页面。

为什么 要学 Stable Diffusion ?

专业者的神器,外行者的玩具

先不谈AI浪潮如何,如果一个新工具能让我们的某些部分工作有几倍到几十倍的效率提升的话,很明显我们应该学习并且掌握它,而不是固步自封。

当然,AI浪潮是我们无法忽视的存在,今年阿里UI设计周和腾讯TDW设计周的主题也都是AI,设计周上分享的专家们用AI更低成本的创造出了大量惊艳的作品,也印证了卡兹克这句“专业者的神器”的总结。

综上所述,我认为无论是作为一个专业者,还是一个外行者,都应该学习AI,了解AI,掌握并应用AI。所以,Stable Diffusion 作为AI图像生成领域目前最成熟的两个工具之一,值得我们学习,并且应用它来加速我们以前需要大量时间来完成的许多工作。

AI时代工具日新月异,许多同学会担心刚学完工具不久,这个工具就被时代抛弃了,之前的辛苦白费。经过半年多的了解,我认为短期内Stable Diffusion 在繁荣的开源生态和优秀的新版SDXL模型的支持下不仅不会被时代抛弃,而且会越来越好就像同样开源的Blender,星辰大海的旅程才刚刚启航。

繁荣的开源生态

Stable Diffusion 社区是目前最繁荣的开源AI绘画社区,在C站和各大公司内部都有了大量基于SD训练的优质模型。

这些优质模型除了依赖SD本身的优质底模以外,还需要准备精品训练集,打标处理,花费大量时间精力算力去训练,测试模型质量并调整,最终才能得到可用的优质模型。SD生态能够繁荣至今,已经消耗了许多不可再生的宝贵资源,是无法被轻易替代的

全球模型站C站链接:https://civitai.com/

国内模型站哩布哩布链接:https://www.liblibai.com/

以ControlNet为代表的各种好用的插件也是SD生态最重要的核心竞争力之一,就像Sketch、Figma的插件之于软件本身生态一样,没了插件工作效率要慢上一大半。ControlNet也是SD最重要的精确控制能力的来源,这类插件的开发与适配都是工程量与难度极大的,属于短时间内无法被替代的核心竞争力,不是新出一个模型号称性能比SD更好百分之几十就可以抵消的优势。

值得期待的新版XL模型表现

SDXL1.0 版本现在已经开源,生成的图片质量各方面表现远超SD1.5,下图为使用同提示词同参数情况下,SD1.5 与 SDXL 的生成图片质量对比,SDXL 优势十分明显。

然而原生底模往往并不是我们直接用来生成图像的模型,它更多是作为一个基础,然后再经过针对性的微调,大幅度提升某些方面的生成质量后,才作为我们最后真正落地使用的Ckpt大模型。

通过下方面同提示词同参数的生成对比图我们可以感受到,微调之后的ReVAnimate生成质量比起原生底模 SD1.5的生成质量有大幅度的提升。

ControlNet也支持了Canny线稿控制模型,其他模型支持正在路上。各路大神也正在基于SDXL训练模型过程中,未来的SDXL微调后的优秀模型表现能有多精彩?这是很值得期待的一件事,在更多方向的图像生成中比肩甚至超越MJ也将不再是难事。

怎么学 Stable Diffusion ?

聊完了为什么要学Stable Diffusion,我们来聊聊怎么学Stable Diffusion,为了针对性的让新手更快更简单的入门AI绘画,我这里整理了一份AI绘画的完整学习资料,包含Midjourney的使用、Stable Diffusion的部署生产、ComfyUI的进阶教程。只要你能看完,相信一定能让你少走弯路!

 

 

© 版权声明

相关文章

暂无评论

暂无评论...