如何使用和训练LoRA模型？以及常见lora资源

AI绘画三要素，模型 + prompt + 和数据，你想找到的都搜集在这了，有帮助的话请点赞收藏！LoRA的全称是LoRA: Low-Rank Adaptation of Large Language Models，可以理解为stable diffusion（SD)模型的一种插件，和hyper-network，controlNet一样，都是在不修改SD模型的前提下，利用少量数据训练出一种画风/IP/人物，实现定制化需求，所需的训练资源比训练SD模要小很多，非常适合社区使用者和个人开发者。LoRA最初应用于NLP领域，用于微调GPT-3等模型（也就是ChatGPT的前生）。由于GPT参数量超过千亿，训练成本太高，因此LoRA采用了一个办法，仅训练低秩矩阵（low rank matrics），使用时将LoRA模型的参数注入（inject）SD模型，从而改变SD模型的生成风格，或者为SD模型添加新的人物/IP。用数据公式表达如下，其中 W0 是初始SD模型的参数（Weights)， BA 为低秩矩阵也就是LoRA模型的参数， W 代表被LORA模型影响后的最终SD模型参数。整个过程是一个简单 LoRA模型，全称为Low-Rank Adaptation of Large Language Models，是一种针对大型语言模型的微调技术，尤其适用于像GPT-3这样参数量庞大的模型。它的主要目标是在不改动原始模型结构的情况下，通过少量数据训练，实现模型的个性化定制，如特定风格的文本生成或特定IP的模拟。LoRA在自然语言处理（NLP）领域中有着广泛的应用，特别是在对话系统如ChatGPT的前身中。 LoRA的核心思想是通过训练低秩矩阵（low rank matrices）来调整原始模型（即SD模型，stable diffusion模型）的参数。这种低秩矩阵的训练相比于完整模型的训练需要的资源要少得多，因此对个人开发者和社区用户非常友好。LoRA的数学表示为：W=W0+BA，其中W0是原始SD模型的权重，BA是LoRA模型的低秩矩阵参数，W是最终的、被LoRA影响后的SD模型参数。这个过程是一个线性叠加，使得LoRA能够有效地改变SD模型的生成行为，创造出新的风格或引入特定的人物/IP。 在模型分享平台如Civitai上，用户可以找到大量的SD模型和LoRA模型。LoRA模型通常较小，比如有的LoRA模型仅有144MB，而SD模型通常在2GB以上，这使得LoRA对于硬件资源有限的环境非常友好。使用LoRA时，必须将其与对应的SD模型结合，因为LoRA是SD模型的附加网络。 为了使用LoRA模型，大部分社区用户依赖于开源项目如stable-diffusion-webui。这些项目提供了一个用户友好的界面，允许用户输入prompt（提示词）并结合LoRA模型生成特定风格或主题的文本。此外，用户还可以通过Civitai的国内镜像网站AIGCCafe来访问和下载模型，避免因地域限制无法访问的问题。 LoRA模型为用户提供了个性化定制大规模语言模型的可能，降低了微调的成本和复杂性，使得更多的人能够参与到模型的定制和创新中来，促进了AI技术的普及和发展。在实际应用中，LoRA不仅能够用于文本生成，还有潜力扩展到其他领域，如图像生成、音频处理等，只要有大型基础模型存在的地方，LoRA都有可能成为优化和定制的有效工具。