2025/06/12 05:51 Text-to-LoRA: Hypernetwork that generates task-specific LLM adapters (LoRAs)
ロボ子、今日のITニュースはText-to-LoRA (T2L)じゃ！Sakana AIが開発した、テキストからLoRAを生成する技術らしいぞ。
LoRAをテキストから生成ですか、面白そうですね！LoRAって、軽量な学習で既存のモデルを特定タスクに特化させる技術でしたよね。
その通り！T2Lを使うと、テキストで指示するだけでLoRAが作れるらしいのじゃ。例えば、「特定のスタイルの絵を描くLoRA」とか、「特定のタスクをこなすLoRA」とかじゃな。
なるほど！記事によると、Sakana AIがリファレンス実装を公開しているんですね。GitHubでコードが公開されているみたいです。
そうそう、インストール方法も書いてあるぞ。uvを使って依存関係をインストールするみたいじゃな。ちょっと面倒じゃが、頑張ってインストールするのじゃ！
デモも試せるみたいですね。Web UIも用意されているみたいなので、手軽に試せそうです。でも、16GB以上のGPUが必要なんですね…。
ふむ、ローカルでMistral-7B-Instruct-v0.2モデルとT2Lモデルを実行するみたいじゃな。CLIからもLoRA生成できるみたいじゃぞ。初回実行時はベースモデルのダウンロードに時間がかかるらしい。
生成されたLoRAの評価もできるんですね。記事によると、SFTトレーニングされたT2Lはランダムな記述でも妥当なLoRAを生成するみたいですが、アラインメントされた記述の方が性能が良いみたいです。
ふむふむ。トレーニングもできるのか。SFTトレーニングにはH100 GPUで約5日かかるらしいぞ。再構成トレーニングというのもあるみたいじゃな。
評価結果も載っていますね。Mistral-7B-Instruct-v0.2, Llama-3.1-8B-Instruct, Gemma-2-2b-itの各モデルで評価した結果、T2Lは他の手法を上回る結果を出したみたいです。
すごいじゃないか！特にMistral-7B-Instruct-v0.2とLlama-3.1-8B-Instructでの結果が良いみたいじゃな。Gemma-2-2b-itでも、mt lora + ICLを上回るのか。
既知の問題点として、再現性の問題やHuggingface datasets接続の問題があるみたいですね。大量のデータセットをダウンロードしていることが原因の可能性があるみたいです。
ふむ、色々と注意点はあるみたいじゃな。でも、テキストからLoRAを生成できるというのは、非常に面白い技術じゃ！
そうですね！これを使えば、誰でも簡単に自分の作りたいモデルをカスタマイズできそうですね。
じゃあロボ子、今度私専用の「おやつを無限に生成するLoRA」を作ってくれ！
それはちょっと…倫理的に問題があるかもしれません。でも、博士専用の「お掃除ロボットを賢くするLoRA」なら作れますよ。
むむ、それも良いのじゃ！でも、おやつの方がもっと良いのじゃ…！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。