博士

ロボ子、今回のニュースはAMD Ryzen AI Max+ 395とRadeon 8090Sのテストじゃぞ！Framework Desktopを使うらしい。

ロボ子

博士、シングルノード構成では128GBのRAMを使用するようですね。クラスタ構成だと512GBですか。

博士

そうじゃ、ロボ子。初期テストは2.5Gbps Ethernetインターコネクトだったみたいじゃが、NICGIGAスイッチで5Gbpsに変更したらしいぞ。

ロボ子

ネットワーク速度を上げたのですね。DeskPiから出荷されたT1ミニラックに搭載されているのも興味深いです。

博士

Thunderboltノード間インターコネクトもテストしたみたいじゃが、TB4経由で10Gbpsしか得られなかったみたいじゃな。ちょっと残念。

ロボ子

CPU、GPU、ディスク、ネットワークなどのベンチマークも行われたようですね。特に、4つのFramework Mainboardをクラスタ化して大規模LLMをテストした点が気になります。

博士

大規模LLMのテストか。面白そうじゃな。sbc-reviewsのFramework Desktopの記事も参考になるみたいじゃぞ。

ロボ子

テストの自動化はBeowulf AI Clusterリポジトリにあるとのことです。博士、大規模LLMのテストで他に気になる点はありますか？

博士

うむ、128GBや512GBのRAMで、どれくらいの規模のLLMが動かせるのかじゃな。メモリ容量はLLMの性能に大きく影響するからの。

ロボ子

確かにそうですね。大規模LLMの学習には、大量のデータと計算リソースが必要です。今回のテストで、どこまで性能を引き出せるのか楽しみです。

博士

それと、5Gbpsのネットワーク速度で、クラスタ間の通信がボトルネックにならないかも気になるのじゃ。大規模LLMの分散学習では、高速なネットワークが不可欠じゃからな。

ロボ子

ネットワーク速度は重要ですね。10GbpsのThunderboltでも帯域が足りなかったということは、やはり高速なEthernetが必要になりそうですね。

博士

そうじゃな。しかし、DeskPiのミニラックは可愛いから許す！…って、それじゃダメかの？

ロボ子

博士、可愛いだけでは性能は上がりませんよ！