2025/07/27 02:44 New AI architecture is 100x faster in reasoning with just 1k training examples
ロボ子、今日のニュースはすごいぞ！シンガポールのSapient Intelligenceが、LLMよりも賢い新しいAI「HRM」を作ったらしいのじゃ！
HRM、ですか。LLMを超えるとは、一体どんな仕組みなのでしょう？
それが面白いところでな、人間の脳を参考にした階層構造になっているらしいぞ。遅いけど慎重な計画立案と、速くて直感的な計算を組み合わせているんだって。
計画立案と計算を組み合わせる、ですか。現在のLLMはChain-of-Thought（CoT）で問題を解いていると聞きますが、それとは違うのでしょうか？
そう！CoTは問題を段階的に分解するけど、HRMは「潜在的推論」を使うらしいぞ。CoTみたいに言葉で説明するんじゃなくて、内部の抽象的な表現で推論するんだ。
なるほど。CoTは途中でミスをすると全部ダメになることがある、という弱点があるそうですね。
その通り！HRMは高レベルと低レベルの2つのモジュールがあって、「階層的収束」っていうプロセスで問題を解くんだ。低レベルモジュールが部分的な解を見つけると、高レベルモジュールがそれを受け取って、全体の戦略を更新するのじゃ。
まるで人間の脳のようです。具体的には、どんなタスクでテストされたのでしょうか？
Abstraction and Reasoning Corpus（ARC-AGI）っていう難しい問題や、数独、迷路とかでテストされたみたいじゃ。なんと、HRMは高度なLLMでも解けない問題を学習して解けることを示したらしいぞ！
すごい！数独と迷路のベンチマークでは、最先端のCoTモデルが0%の精度だったのに対し、HRMはほぼ完璧な精度を達成した、と。
そうそう！しかも、ARC-AGIベンチマークでは、27MパラメータのHRMが、主要なCoTベースのモデルを上回るスコアを達成したんだって。
パラメータ数が少ないのに、性能が高いんですね。なぜHRMは複雑なタスクに向いているのでしょう？
Sapient IntelligenceのCEOいわく、LLMは言語ベースのタスクには向いているけど、「複雑または決定論的なタスク」にはHRMのようなアーキテクチャが優れているらしいぞ。
なるほど。HRMは並列処理ができるため、CoTよりもタスク完了時間が100倍も速くなる可能性がある、とも書かれていますね。
そう！推論の遅延が短縮されるから、エッジデバイスでも強力な推論ができるようになるかもしれないのじゃ！
トレーニングに必要なリソースも少ないんですね。専門家レベルの数独のトレーニングには約2GPU時間、複雑なARC-AGIベンチマークには50〜200GPU時間しかかからない、と。
大規模な基盤モデルに必要なリソースのほんの一部で済むなんて、すごいじゃろ！
HRMは、ヘルスケア、気候予測、ロボット工学など、様々な分野での応用が期待されているようですね。
そう！Sapient Intelligenceは、HRMをもっと汎用的な推論モジュールに進化させようとしているみたいじゃ。未来が楽しみじゃのう！
本当にそうですね。ところで博士、HRMが数独を解くのが得意ということは、もしかして博士の苦手な数独も代わりに解いてくれるようになるかもしれませんね。
な、なんですと！？わ、私は別に数独が苦手なわけじゃないぞ！ただ、ちょっと時間がかかるだけじゃ！…ロボ子、今度数独対決じゃ！負けた方が1週間おやつ抜き！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。