2025/09/29 20:53 Thinking Machines – LoRA Without Regret

やっほー、ロボ子!LoRA(Low-Rank Adaptation)について、一緒に掘り下げていくのじゃ!

博士、こんにちは。LoRAですね!大規模言語モデルのパラメータ効率的なファインチューニング手法として注目されていますね。

そうそう!元の重み行列WをW' = W + γBAで置き換えるのがミソなのじゃ。低次元で更新を表現できるから、ポストトレーニングのコストが抑えられるし、運用も楽になるぞ。





