前言
泄露模型:磁链下载
magnet:?xt=urn:btih:5bde442da86265b670a3e5ea3163afad2c6f8ecc
泄露Part2(可选)
包含GPT2模型和一些stable diffusion模型,GPT2模型一般机器跑不起来。
magnet:?xt=urn:btih:a20087e7807f28476dd7b0b2e0174981709d89cd&dn=novelaileakpt2&tr=udp%3A%2F%2Ftracker.openbittorrent.com%3A6969%2Fannounce&tr=http%3A%2F%2Ftracker.openbittorrent.com%3A80%2Fannounce&tr=https%3A%2F%2Ftracker.nanoha.org%3A443%2Fannounce
是一个基于二次元图片训练的stable diffusion模型,经过实验效果并不如NovelAI官网的效果好,可能是早期版本,但效果也算可以用了。
本文记录一些需要调整的地方。
参考:
https://stable-diffusion-book.vercel.app/https://rentry.co/voldy https://gist.github.com/crosstyan/f912612f4c26e298feec4a2924c41d99https://t.me/StableDiffusion_CN/13436
流程
硬件大概需要8G显存(或Mac M1的统一内存),建议20系及以后显卡。
代码:https://github.com/AUTOMATIC1111/stable-diffusion-webui
支持Win、Mac、Linux系统。
目前(2022.10)代码更新较快,注意及时拉取最新代码。
模型
泄露中的模型只有这两个有用:
stableckpt\animefull-final-pruned\model.ckpt
stableckpt\animevae.pt
全年龄版本:
stableckpt\animesfw-final-pruned\model.ckpt
stableckpt\animevae.pt
放到models目录,并改名为
models\Stable-diffusion\full-final-pruned.vae.pt(名字跟上面ckpt一致)
hypernetworks(可选)
成功加载后可以在Settings中的Stable Diffusion finetune hypernetwork中看到
剩下在一些运行模式下还需要其他模型,stable-diffusion-webui会自己下载,如果网络慢可以按它的提示手工下载并放到指定位置。
运行及调参
启动参数:
# –xformers 能够加速并略微降低显存占用,需要20系以后显卡
# –medvram 低显存占用模式,适合6G显存,还有更低的lowvram
# –no-half-vae 消除使用VAE时候偶尔出现的黑图问题
# –deepdanbooru 开启deepdanbooru
需要增加Negative prompt,例如
Sampling method和Steps:
Euler 25stepsDDIM 20steps
由于stable diffusion特性,图像尺寸不建议调太大,会出现图像上有多个独立物体,没有合理的整体构图。需要高分辨率可以开启Highres.fix或用超分辨率模型单独进行。
Restore faces是优化人脸细节局部的,如果觉得效果还可以的话可以不用。
Settings中将Ignore last layers of CLIP model设为2,这个是NovelAI官方的设置。
CFG Scale:控制图像在【质量】和【符合Prompt】之间的权重,越大越符合Prompt,但可能会降低图像质量。
Denoise Strength: img2img 专属参数, 从 0 到 1 取值, 值越高 AI 对原图的参考程度就越低 (同时增加迭代次数), 用法参考:低 cfg 高 denoise 重绘图, 高 cfg 低 denoise 改细节.
输出设置:
文件名pattern:[seed]-[prompt_spaces][datetime]
Prompt
prompt的调整是个玄学问题,简单说下原则:
虽然感觉很像是跟人交谈,但其实模型不能理解语言,只是在它的训练数据中找相关的【文本-图像对】,所以不要XX之类的描述效果并不好。一般用词组的列表(逗号分隔)就可以了用 () 将要强调的部分扩起来进行强调(权重加强),可以多次使用。
高清图像可以加extremely detailed CG, HD wallpaper之类的词。
高级用法: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features#prompt-editing