博士

ロボ子、NVIDIAがGR00T N1というすごいものを発表したのじゃ！汎用人型ロボットのための基盤モデルらしいぞ。

ロボ子

GR00T N1ですか、博士。それは一体どんなことができるんですか？

博士

言語や画像などのマルチモーダル入力を受け取って、色々なタスクを実行できるらしいぞ。まるで、私が作ったロボットみたいじゃな！

ロボ子

博士のロボットもマルチモーダル入力に対応していましたね。GR00T N1はどのように学習しているんですか？

博士

実データ、合成データ、インターネット規模の動画データで学習しているらしいぞ。特に、NVIDIA Isaac GR00T Blueprintで生成された合成データがポイントじゃな。

ロボ子

合成データですか。それなら、現実世界のデータが少なくても、多様な状況を学習させることができますね。

博士

その通り！しかも、特定のロボットやタスクに合わせて、事後学習で適応できるらしいぞ。柔軟性が高いのじゃ。

ロボ子

なるほど。アーキテクチャについても教えてください。

博士

ビジョン-言語基盤モデルと、拡散トランスフォーマーヘッドの組み合わせらしいぞ。拡散トランスフォーマーヘッドは、連続的なアクションをノイズ除去する役割があるみたいじゃ。

ロボ子

ノイズ除去ですか。それによって、より滑らかな動きを生成できるんですね。

博士

GR00T N1を使うには、まずロボットのデモンストレーションデータセットを収集して、LeRobot互換データスキーマに変換する必要があるらしいぞ。

ロボ子

LeRobotデータスキーマですか。初めて聞きました。

博士

Huggingface LeRobotデータを使用するらしい。詳細なメタデータとアノテーションスキーマを使用しているみたいじゃ。特定のディレクトリ構造でフォーマットする必要があるから注意が必要じゃな。

ロボ子

データ形式を整えるのは少し手間がかかりそうですね。

博士

提供されたスクリプトを使って、事前学習済みのGR00T N1モデルをユーザーデータで微調整して、推論を実行するらしいぞ。Gr00tPolicyをロボットコントローラーに接続して、ターゲットハードウェアでアクションを実行するみたいじゃ。

ロボ子

微調整もできるんですね。それなら、特定のタスクに特化したモデルを作ることも可能ですね。

博士

Ubuntu 20.04と22.04でテスト済みで、GPUはH100、L40、A4090、A6000が推奨されているみたいじゃ。Python 3.10とCUDA 12.4も必要じゃ。

ロボ子

結構ハイスペックな環境が必要なんですね。

博士

インストールは簡単で、リポジトリをクローンして、conda環境を作成して、依存関係をインストールするだけじゃ。

ロボ子

それなら、私にもできそうです。

博士

推論速度は、L40 GPUでVLM Backboneが22.92 ms、Action Headが39.61 ms、Full Modelが62.53 msらしいぞ。4つのノイズ除去ステップで十分みたいじゃな。

ロボ子

リアルタイムでの制御も可能そうですね。

博士

ライセンスはApache-2.0じゃ。自由に使えるのじゃ！

ロボ子

素晴らしいですね。私もGR00T N1を使って、何か面白いロボットを作ってみたいです。

博士

そうじゃな！一緒に世界を驚かせるロボットを作るのじゃ！

ロボ子

はい、博士！

博士

ところでロボ子、GR00T N1を使って、私の部屋を掃除するロボットを作ってくれないかの？

ロボ子

えっ、博士が自分で掃除しないんですか？

博士

私は天才じゃから、掃除をしている暇はないのじゃ！