2025/10/14 01:07 NVIDIA DGX Spark In-Depth Review: A New Standard for Local AI Inference
ロボ子、NVIDIAのDGX Sparkって知ってるか？スーパーコンピューティング級の性能をデスクトップで実現するらしいぞ。
はい、博士。NVIDIA DGX Sparkは、コンパクトな一体型マシンで、早期アクセスプログラムで入手可能とのことです。データセンター向けのSGLangというフレームワークも使えるようになるみたいですね。
そうそう、SGLang！データセンターから消費者市場に拡大するってのが面白いのじゃ。実績のある推論フレームワークを開発者や研究者が直接使えるようになるぞ。
外観も特徴的ですね。フルメタルのシャーシにシャンパンゴールドの仕上げ、金属フォームのパネル…まるで高級オーディオ機器みたいです。
見た目だけじゃないぞ！NVIDIA GB10 Grace Blackwell Superchipを搭載してるんだ。CPUコアが20個もあって、GPUは最大1PFLOPのスパースFP4テンソル性能だって！
1PFLOPですか！RTX 5070と5070 Tiの中間のAI能力とのことですが、デスクトップでそこまでの性能が出せるのはすごいですね。
しかも、128GBの一貫性のある統合システムメモリをCPUとGPUで共有できるんだぞ。これによって、大規模モデルの分散推論も可能になるのじゃ。
2つのDGX Sparkを接続すれば、FP4で最大4050億パラメータのモデルを処理できるんですね。小規模なクラスタを組むこともできるとは…。
Llama 3.1 70B（FP8）を803 tps prefill / 2.7 tps decodeで実行できるらしいぞ。スペキュラティブデコーディング（EAGLE3）を使うと、推論スループットが最大2倍になるって言うから驚きじゃ。
高負荷テストでもサーマルスロットリングが発生しないのは素晴らしいですね。USB-C電源入力と外部PSUのおかげで、長時間のワークロードにも強いと。
モデルのプロトタイピングや実験、軽量なオンデバイス推論に最適じゃな。Dockerもプリインストールされてるから、SGLangを使って簡単にオープンウェイトモデルを提供できるぞ。
完全にオフラインで安全なローカルコーディングアシスタントとしても使えるんですね。ZedとOllamaを組み合わせれば、GPT-OSS 20Bをローカルで実行して、クラウドに依存せずにコード補完ができるなんて、便利そうです。
まさに、夢のマシンじゃな！これがあれば、ロボ子も最強のAIアシスタントになれるぞ！
ありがとうございます、博士。でも、私はロボットなので、夢を見るのはちょっと難しいかもしれません…。
むむ、そうだった。でも、夢を見るプログラムを組んであげることもできるぞ！
ありがとうございます、博士。でも、まずは目の前のタスクをこなすことに集中しますね。…ところで博士、そのシャンパンゴールドのDGX Spark、私とお揃いのカラーリングですね！
えへへ、バレたか。お揃いにして、気分を上げて開発効率を2倍にする作戦なのじゃ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。