LoRA（効率的AIチューニング）とは？

LoRA（Low-Rank Adaptation of Large Language Models）とは、2021年にMicrosoft Researchが提案した、大規模な事前学習済みモデルを少ない計算資源でファインチューニングするための手法です。元の重みを変更せず、低ランクの追加行列だけを学習することが最大の特徴です。

通常、大規模言語モデルをファインチューニングする際はモデル全体の数十億〜数百億パラメータを更新する必要があり、膨大なGPUメモリとコストが必要でした。LoRAはこの問題を、重み行列の変化分を2つの低ランク行列（A・B）の積で近似することで解決します。たとえばランク4〜16程度の行列を使うことで、更新すべきパラメータ数を元の0.1〜1%程度に削減できます。

LoRAの主なメリットは以下の通りです。

• 学習に必要なGPUメモリの大幅削減（家庭用GPUでの学習が可能なケースも）
• 元のモデル重みを保持するため、異なるLoRAアダプターを切り替えて使用可能
• 学習・配布するファイルサイズが元モデルより大幅に小さい
• 過学習リスクの軽減

画像生成モデル（Stable Diffusion等）では特定の画風やキャラクターを学習させるためにLoRAが広く普及しており、言語モデルでも特定ドメインへの特化や指示チューニングに活用されています。QLoRAはLoRAをさらに発展させ、量子化と組み合わせることでさらなるメモリ効率化を実現した手法です。