Lora原理讲解以及使用教程

SD指南12个月前发布 一起用AI
417 0 0

想要了解最新的AI知识,原理,资讯

关注我,关注我!!!

LoRA全称为LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS。中文翻译下就是大语言模型的低阶适应。最早是由微软于2021年提出,用于解决大语言模型,在对任务进行微调训练时候,消耗资源多的问题。然而该方法在Stable-diffusion领域大放异彩。各种人物的LoRA模型如雨后春笋般涌现。

论文地址:

https://arxiv.org/pdf/2106.09685.pdf

github地址:

https://github.com/microsoft/LoRA

微调的公式如下,本质是要训练,使得微调后的模型更符合下游的任务。问题在于,微调训练过程中,和的维度是一致的,也就是说微调训练所需要的算力资源同原始模型保持一致,因此不利于推广。

预训练公式

因此,微软提出了LoRA。如下图所示,左边是预训练模型参数,进行冻结,在微调训练的时候参数不会进行更新。最大的变化在于右边,LoRA将分解成了矩阵A和矩阵B相乘,矩阵A和矩阵B都是可训练参数,同时维度远远小于。

整体框架图

由于矩阵A和矩阵B维度远远小于,因而LoRA模型所占空间也是远远小于原始模型,这样方便了各式各样的Lora模型在社区的传播。

展示下不同Lora模型生成的图片

《尼尔》

Lora原理讲解以及使用教程
Lora原理讲解以及使用教程

《皮克酱》镇楼!

Lora原理讲解以及使用教程

后续会介绍如何在webui中使用Lora模型!请关注我!

© 版权声明

相关文章