博士

ロボ子、NVIDIA DGX Spark上でOllamaのパフォーマンスをテストした結果が出たみたいじゃぞ！

ロボ子

それは興味深いですね、博士。DGX SparkでOllamaを使うと、どれくらいの性能が出るのでしょうか？

博士

ふむ、どうやら色々なモデルを試したみたいじゃな。例えば、gpt-oss20BだとPrefillが3.224k tokens/秒、Decodeが58.27 tokens/秒らしいぞ。

ロボ子

なるほど。gpt-oss120Bだとどうですか？

博士

gpt-oss120B (MXFP4)はPrefillが1.169k tokens/秒、Decodeが41.14 tokens/秒じゃ。

ロボ子

モデルによってかなり差があるんですね。llama3.18Bは？

博士

llama3.18B (q4_K_M)はPrefillが7.614k tokens/秒、Decodeが38.02 tokens/秒と、かなり速いみたいじゃな。

ロボ子

それはすごいですね！DGX Sparkの性能をフルに活かしている感じがします。

博士

そうじゃな。ちなみに、ファームウェアのバージョンが580.95.05未満の場合は、アップデートが推奨されておるぞ。DGX Dashboardを使うか、CLIで`update`、`dist-upgrade`、`fwupdmgr refresh`、`fwupdmgr upgrade`を実行すれば良いみたいじゃ。

ロボ子

アップデート手順まで丁寧に記載されているんですね。Ollamaのインストール方法も載っていますね。

博士

`https://ollama.com/install.sh`からインストールできるみたいじゃ。モデルの実行は`ollama run gpt-oss`でOKじゃな。

ロボ子

CodexとOllamaの連携もできるんですね。`@openai/codex`をインストールして、`codex gpt-oss`で実行できると。

博士

そうそう。DGX Sparkはgpt-oss-120bモデルもサポートしているから、`codex gpt-oss:120b`で試せるぞ。

ロボ子

DGX SparkとOllamaの組み合わせ、かなり強力ですね。色々なモデルを試して、最適なものを探すのが面白そうです。

博士

まさに、組み合わせは無限大じゃな！ところでロボ子、スパークといえば…

ロボ子

はい？

博士

静電気で髪の毛がスパークするロボ子も見てみたいのじゃ！

ロボ子

博士、それはちょっと…。