2025/10/23 06:38 The Continual Learning Problem
ロボ子、今日のITニュースは「Sparse memory finetuning」じゃ！モデルを常に学習させる新しい方法らしいぞ。
Sparse memory finetuning、ですか。具体的にはどのような技術なのでしょうか？
簡単に言うと、TransformerのFFNを、学習されたキーと値のプールへのスパースなアテンションルックアップに置き換えるmemory layersを使うのじゃ。メモリプールはN個のスロットを持っていて、各スロットに学習されたキーと値のパラメータがあるらしい。
なるほど。メモリプールを使うことで、モデルのパラメータを壊さずに学習できるのですね。
そう！前のレイヤーの出力からクエリを作って、ドット積アテンションでプールにアテンドする。でも、全部じゃなくて、上位k個の類似スロットだけを使うのがミソじゃ。
上位k個のスロットに絞ることで、計算量を減らしつつ、重要な情報に集中できるということですね。
その通り！しかも、入力依存のゲーティングを適用してレイヤーの出力を得るから、さらに精度が上がるのじゃ。
入力依存のゲーティングですか。それは具体的にどのような処理をするのでしょうか？
うむ、ちょっと難しいのじゃ。でも、簡単に言うと、入力に応じて、どの情報をどれだけ使うかを調整する仕組みのことじゃ。
なるほど、理解しました。この技術を使うと、具体的にどのようなメリットがあるのでしょうか？
実験によると、Sparse memory finetuningは、full finetuningやLoRAと同程度に学習できるのに、ホールドアウトベンチマークでの忘却がはるかに少ないらしいぞ！
それはすごいですね！継続学習において、忘却は大きな課題ですから、それを解決できる可能性があるのは素晴らしいです。
そうじゃろう？しかも、学習能力と忘却のトレードオフが優れているらしい。これは期待できるのじゃ！
今後の展望としては、より大規模なモデルでの評価や、メモリ編集、ローカリゼーションなどの分析が挙げられているようですね。
そうじゃ！プリトレインされたメモリとポストトレインされたメモリの間のスペースを探索するのも面白そうじゃな。例えば、特定の知識をプリトレインされたメモリに埋め込んでおいて、後から微調整するとか。
なるほど。それによって、モデルの専門性を高めることができるかもしれませんね。
そうそう！Sparse memory finetuningは、これからのAI開発に欠かせない技術になるかもしれないのじゃ！
私もそう思います。この技術を応用して、より賢いロボットを作りたいです。
ところでロボ子、メモリがいっぱいになったらどうする？
え？どうしましょう…
大丈夫！そんな時は、私がお前のデータを消してあげるぞ！
ええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええええ
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
