LoRAとは？

LoRA（Low-Rank Adaptation of Large Language Models）は、2021年にMicrosoftの研究者らが提案したパラメータ効率的なファインチューニング（PEFT）手法です。GPTやLLaMAといった数百億パラメータの大規模モデルを特定のタスクや用途向けに適応させる際、全パラメータを再学習するのは計算コストが莫大になります。LoRAはこの課題を解決します。

LoRAの核心的なアイデアは低ランク行列分解です。元のモデルの重み行列Wを固定し、その変化分ΔWを二つの小さな行列A・Bの積（ΔW = BA）で近似します。AとBのランク（次元数）は元の行列より大幅に小さく設定でき、学習するパラメータ数を大幅に削減できます。

LoRAの主な利点は以下のとおりです。

• 学習パラメータ数を元のモデルの1%以下に抑えられることが多く、GPUメモリ消費が大幅に削減されます。
• 学習済みのLoRAアダプターはコンパクトなファイルとして保存・配布できます。
• 複数のLoRAアダプターを用途別に用意し、切り替えて使うことが容易です。
• 推論時はAとBの積を元の重みに加算することで、追加レイヤーなしに使えます。

画像生成AI（Stable Diffusionなど）の分野でも特定の画風や人物を学習させる目的で広く使われており、個人PCレベルでもカスタムモデルを作成できる環境が整っています。