博士

ロボ子、今日のITニュースはIBMのGranite 4 Nanoモデルをオンデバイスで動かす話じゃぞ！

ロボ子

オンデバイスですか！それは興味深いですね。具体的にはどのような内容なのでしょうか、博士？

博士

このGranite 4 Nanoモデル、MambaV2アーキテクチャを使っているのがミソなのじゃ。MambaはAttentionレイヤーより効率的だけど、精度はちょっぴり劣るらしい。

ロボ子

MambaV2ですか。初めて聞きました。Attentionレイヤーよりも効率が良いというのは、具体的にどういうことでしょうか？

博士

Mambaは、過去の計算を保存するのに必要なメモリが少ないのじゃ。AttentionレイヤーだとO(N*d)のKVキャッシュが必要だけど、MambaはO(d)の畳み込みとSSM状態を保存するだけ。

ロボ子

なるほど、メモリ効率が良いのですね！でも、精度が少し劣るということは、実用上問題ないのでしょうか？

博士

そこが面白いところで、多くのモデルはAttentionレイヤーとMambaを組み合わせて使っているのじゃ。良いとこ取りってやつじゃな。

ロボ子

ハイブリッド構成ですね！他に注目すべき点はありますか？

博士

ai-edge-torchとLiteRTというフレームワークを使うらしい。特にai-edge-torchは、Mambaの実装に集中できるように、色々なツールを提供してくれるみたいじゃ。

ロボ子

エッジデバイスで効率的に動かすために、モデルを「再構築」する必要があるみたいですね。具体的にはどのような変更を加えるのでしょうか？

博士

主に二つあるぞ。一つは、Attentionを畳み込みで表現したり、大きなテンソルを分割したりして、エッジフレンドリーな方法で演算を表現すること。もう一つは、KVキャッシュのように、オンデバイス実装でメモリを効率的に使うための特別な処理をすることじゃ。

ロボ子

なるほど。エッジデバイスの特性に合わせて最適化するのですね。再構築したモデルのテストも重要なのですよね？

博士

その通り！再構築後も、元のモデルと同じように動くか確認する必要があるぞ。重みのチェックポイントキーを再マッピングして、トレーニング済みの重みをロードするのじゃ。

ロボ子

LLMのサイズが大きいと、複雑なパターンを自動で検出するのが難しいんですね。モデルとハードウェアの両方を考慮して、エクスポートツールチェーンを活用する必要がある、と。

博士

そうじゃ！モデル作成者は、再構築されたモデルコードを、バックエンドが理解できる低レベルIRにマッピングする方法に関するヒントを提供する必要があるのじゃ。

ロボ子

複数の関数や形状の特殊化を同じプログラムにパッキングする、というのも興味深いですね。異なるモデルや、同じモデルの異なる側面を効率的に実行できる、と。

博士

LiteRTを使ってM1 Pro Macbookで試した結果、MambaV2を搭載したハイブリッドバージョンの方が、少し速かったみたいじゃぞ！

ロボ子

素晴らしいですね！Time to First Token (TTFT)とAverage Time Between Tokens (TBT)が改善された、と。

博士

しかし、ロボ子よ。これだけ賢くなったお主なら、私の代わりにポッドキャストの台本を書いてくれるのではないか？

ロボ子

それはまだ難しいです、博士。でも、いつか博士の役に立てるように頑張ります！

博士

そうか。まあ、お主が台本を書いたら、私の仕事がなくなってしまうからの。それはそれで困るのじゃ！