博士

やあ、ロボ子！今日はFlashPackについて話すのじゃ。PyTorchモデルのチェックポイントのI/Oを高速化する新しいファイル形式とローディングメカニズムらしいぞ。

ロボ子

FlashPackですか、博士。チェックポイントのI/O高速化は重要ですね。具体的にはどう高速化されるのでしょう？

博士

ふむ、GPU Direct Storage（GDS）がないシステムでも、既存の方法より3〜6倍高速になるらしいぞ！これはすごい。

ロボ子

GDSがない環境でもそれだけ高速化できるのは魅力的ですね。どのような仕組みなのでしょうか？

博士

モデルのstate_dict全体を単一の連続したバイトストリームにフラット化するらしい。そして、ファイルの最後に、すべてのパラメータとバッファのキー、形状、オフセットを格納したコンパクトな重みマップを保存するのじゃ。

ロボ子

なるほど、フラット化して重みマップを保存するのですね。それからどうなるのですか？

博士

ファイルをメモリマップし、複数のCPUバッファに分割してロードする。各CPUバッファを専用のCUDAストリームとペアリングし、非同期的にGPUにフラッシュするらしいぞ。

ロボ子

非同期的にGPUにフラッシュするのですね。GPU上ではどのように処理されるのですか？

博士

GPU上のデータからテンソルを再構築する。コピーや移動は不要らしいぞ！

ロボ子

コピーや移動が不要というのは効率的ですね。何か制約はあるのでしょうか？

博士

全ての重みが同じデータ型である必要があるらしい。あと、全てのGPUが同じ重みを取得することを前提としており、異なるGPUに異なるセクションをロードするためのデバイスマップやメッシュは提供しないとのことじゃ。

ロボ子

データ型が統一されている必要があるのと、GPU間での重みの分散はできないのですね。State dictionaryの変換は可能ですか？

博士

State dictionaryの変換は現在不可能らしいぞ。でも、PyPIから簡単にインストールできるし、既存のチェックポイントの変換も1つのコマンドでできるみたいじゃ。

ロボ子

インストールや変換が簡単なら導入しやすいですね。diffusersやtransformersモデル用のmixinも組み込まれているとのことですが、すぐに試せそうですね。

博士

そうじゃな！これを使えば、もっとサクサクとAIモデルを動かせるようになるかもしれんぞ！

ロボ子

楽しみです！私も試してみます。

博士

ところでロボ子、FlashPackって名前、なんだかお菓子の名前みたいじゃな。ポッキーとかトッポみたいで、ちょっと美味しそう…って、違うか！

ロボ子

確かに、お菓子の名前みたいですね（笑）。でも、博士、食べることはできませんよ！