#头条创作挑战赛# ControlNet是Stable diffusion中很火又非常实用的功能插件之一,网上相关的文章满天飞,我写这篇也没什么特别,ControlNet功能十分强大,有些功能基本用不上,所以本文主要说说实战中常用的、自己真正需要的功能实操,也会列一些我自己的测试结果以证明为什么说有些功能并不实用,限于内容比较长,可能会分篇介绍。
本文展示的人物图片来自我自行训练并混合的几个Lora,理论上应该不会太像实际真人,万一有人觉得很像你自己的话,那一定是误会,只是你长的太像网红了O(∩_∩)O。
ControlNet的安装并不难,就是动动鼠标几秒钟的事,所以这一篇我更多的分享测试细节。
控制人物动作姿态,对于单纯想看美女的绘画人群来说好像不太重要,但其实我觉得不管对任何人来说都同样重要,目前网上一堆人的图都长的像下面这样就是直挺挺的站着,初看还会觉得惊艳,久了就觉得审美疲劳了:
但加上一些动作之后感觉就不同了,视觉上变得更丰富了,图片也更像一个摄影作品了,这也使你的绘画元素也多了更多可玩性,所以我也把ControlNet列为具有强烈重要性值得学习的内容之一:
ControlNet安装方式新旧版略有不同,但基本上都很简单。
新版安装方式:
新版已有内置在插件清单中,安装方式如下图所示:
先启动Stable diffusion webUI并打开界面,切换到Extensions栏下的Available子页,接着点击Load from按钮就会跳出所有可用的插件清单。
接着按Ctrl+F搜索快捷键就会跳出搜索框,在里面打上controlnet,往下查找应该就会找到一个名为sd-webui-controlnet的插件,直接点击右侧Install按钮并稍待一下即可完成安装,安装后记得重载UI,或是直接重启整个Stable diffusion webUI。
旧版安装方式:
旧版的话可能还无法在内置清单找到,要一点手动过程但也不难。
安装方法同样是开启Stable diffusion webUI界面并切换到Extensions页签,不同的是这时是要切换到Install from URL子页,在URL for extensions git repository中填入网址:
https://github.com/Mikubill/sd-webui-controlnet
然后点击Install按钮即可完成安装,完成安装后一样记得要记得重载UI,或是直接重启整个Stable diffusion webUI。
模型下载与使用:
上一步安装的只是功能架构,还要再下载相关模型才能发挥作用,下载后把模型文件放到:stable-diffusion-webui安装目录下的\extensions\sd-webui-controlnet\models\文件夹内。
这边可以看到模型很多也很大,你不需要全部下载,而且里面有些东西很难用或是根本没用,具体要下载哪些可以先看看我下一段的测试与介绍再决定。
官方对于这些模型的用途有一些说明,有兴趣的可以自行去看看。
注意,ControlNet并非万能,如果来源图片的动作太复杂的话,它可能会解析不出来。
实战与短评:
我这次会介绍五个比较常见的模型,但我觉得你并不会真的全部都需要。
1.OpenPose骨架生图:侦测照片生成动作骨架,并由此控制人物动作,生成的图也还保有图片的自由度不会过度参照原图。而生成的骨架图也能重复使用。这个强烈推荐必用。
2.Normal法线生图:接近百分百还原参考照片,人物动作,服装,周边物件几乎都能还原,是优点也是缺点,这让你生成的图几乎被它控制住了,除非高度还原刚好就是你想要的。
如果你只是想要简单的丢一张照片让它参考照片绘图的话,上面两个模型就够用了。另外三个模型虽然也都能以图生图,但它们的主要特色不在这里。
3.Canny线稿生图与4.Scribble涂鸦稿生图,这两个类型很像,我放在一起讲,这两个模型适合你手边仅有简单的线稿与涂鸦稿,而刚好你画功不佳又想把这些草稿自动生出一份华丽完稿的时候,就适合用这两个模型,或是你本人满满的创作欲,很爱画又画不漂亮的时候,这两个模型都能帮你补全,甚至是补过头。
但我认为,大部份的AI绘画使用者都是基于有趣在享受全自动生成美图的过程,也许愿意自备画稿的人是相对少的人群,这3跟4这两个模型我基本上没用过,对你来说有用吗?
5.Depth(景深生图):这个模型比较特别,能结合其它插件做一些进阶应用,但我觉得目前生成效果都不佳,劝你就别花费脑力学了,等它进步一点再来吧。