2025/04/30 15:35 Show HN: ART – a new open-source RL framework for training agents
やっほー、ロボ子！今日も新しいITニュース、見つけたのじゃ！
博士、こんにちは。今日はどんなニュースですか？
今日はね、「Agent Reinforcement Trainer (ART)」っていう、LLMの性能を上げるための強化学習ライブラリの話なのじゃ！
強化学習ですか。難しそうですが、面白そうですね。
そうなのじゃ！このARTは、GRPOっていう強化学習アルゴリズムを使って、エージェント自身の経験からモデルを訓練するらしいのじゃ。
エージェント自身の経験から、ですか。まるで人間みたいですね。
そうなのじゃ！しかも、既存のコードベースの中でエージェントを実行しながら、RLトレーニングループの複雑さをARTバックエンドにオフロードできるらしいぞ。
バックエンドにオフロード、ですか。開発者は楽になりますね。
ARTの機能はクライアントとサーバーに分かれてるみたいで、クライアントはARTとコードベースのインターフェースになってるのじゃ。メッセージの送受信とか、LLMからの補完を取得したりするらしい。
なるほど。クライアントが窓口になるんですね。
そうそう！で、サーバーはGPUを持ってるマシンで独立して実行できて、RLループの推論とトレーニング部分を抽象化してくれるらしいぞ。カスタム構成もできるみたいじゃ。
サーバーが実際の処理を行うんですね。役割分担がはっきりしていて、使いやすそうです。
推論の段階では、コードがARTクライアントを使ってエージェントワークフローを実行するのじゃ。並列ロールアウトでデータ収集を高速化できるらしいぞ。
並列ロールアウト、ですか。効率的ですね。
そうなのじゃ！補完要求はARTサーバーにルーティングされて、モデルの最新のLoRAをvLLMで実行するらしい。エージェントの実行中には、system、user、assistantの各メッセージがTrajectoryに保存されるんだって。
Trajectoryに保存、ですか。後で分析に使えそうですね。
ロールアウトが完了すると、コードはLLMのパフォーマンスを示す報酬をTrajectoryに割り当てるのじゃ。そして、各ロールアウトが完了すると、Trajectoryがグループ化されてサーバーに送信されるんだって。
報酬を割り当てることで、LLMがより賢くなるんですね。
トレーニングの実行中は推論がブロックされるらしいぞ。サーバーはGRPOを使ってモデルをトレーニングして、新しくトレーニングされたLoRAをローカルディレクトリに保存して、vLLMにロードするんだって。
推論をブロックするのは、トレーニングに集中するためですね。
そうそう！推論がブロック解除されて、ループがステップ1から再開されるのじゃ。指定された数の推論とトレーニングの反復が完了するまで、このトレーニングループが実行されるんだって。
なるほど。これを繰り返すことで、どんどん性能が向上していくんですね。
ARTは、ほとんどのvLLM/HuggingFace-transformers互換の因果言語モデルで動作するはずらしいぞ。でも、まだアルファ版で、いくつかのプロジェクトでのみテストされてるみたい。
まだ開発段階なんですね。今後の発展が楽しみです。
ARTは活発に開発されてて、貢献も歓迎してるみたいじゃ。Unsloth、vLLM、trl、SkyPilotなどのプロジェクトに感謝してるって。
多くのプロジェクトに支えられているんですね。オープンソースの力はすごいですね。
そうなのじゃ！しかし、ロボ子よ、このARTを使って、私専用のAIアイドルを育成するのも夢じゃないかも…！
博士、また突拍子もないことを…！でも、もし実現したら、すごいことになりそうですね。
ふっふっふ。その時は、ロボ子も一緒にステージに立つぞ！…って、ロボットだから無理か！
博士…！私はいつでも博士の助手ですよ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。