想要了解最新的AI知识，原理，资讯
关注我，关注我！！！
LoRA全称为LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS。中文翻译下就是大语言模型的低阶适应。最早是由微软于2021年提出，用于解决大语言模型，在对任务进行微调训练时候，消耗资源多的问题。然而该方法在Stable-diffusion领域大放异彩。各种人物的LoRA模型如雨后春笋般涌现。
论文地址：
https://arxiv.org/pdf/2106.09685.pdf
github地址：
https://github.com/microsoft/LoRA
微调的公式如下，本质是要训练，使得微调后的模型更符合下游的任务。问题在于，微调训练过程中，和的维度是一致的，也就是说微调训练所需要的算力资源同原始模型保持一致，因此不利于推广。
预训练公式
因此，微软提出了LoRA。如下图所示，左边是预训练模型参数，进行冻结，在微调训练的时候参数不会进行更新。最大的变化在于右边，LoRA将分解成了矩阵A和矩阵B相乘，矩阵A和矩阵B都是可训练参数，同时维度远远小于。
整体框架图
由于矩阵A和矩阵B维度远远小于，因而LoRA模型所占空间也是远远小于原始模型，这样方便了各式各样的Lora模型在社区的传播。
展示下不同Lora模型生成的图片
《尼尔》
《皮克酱》镇楼！
后续会介绍如何在webui中使用Lora模型!请关注我！
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
一起用AI | AI副业搞钱套路集合站点
站点初衷是期望打破AI信息壁垒，推广AI智能化方案做副业赚钱，帮助更多普通人在AI浪潮中创造额外副业收益！本站将收录全网各类AI搞钱套路，AI赚钱方法，AI做副业的各类赚钱教程供大家参考学习。
