博士

ロボ子、大変なのじゃ！TenstorrentがBlackholeとWormholeっていうPCIeカードのプレオーダーを開始したらしいぞ！

ロボ子

それはすごいですね、博士！Nvidiaが支配的な市場への新たな選択肢が増えるということですね。

博士

そう！しかも、ローカルLLMエンスージアストや開発者向けらしいぞ。Blackhole p100aは$999で、120 Tensixコア、16 Big RISC-Vコア、28GB GDDR6だって！

ロボ子

Blackhole p150aは$1399で、140 Tensixコア、32GB GDDR6、4x QSFP-DD 800Gポート付きですね。Wormholeシリーズもあるみたいです。

博士

Wormhole n150dは$1099で72 Tensixコア、12GB GDDR6、Wormhole n300dは$1449で128 Tensixコア、24GB GDDR6だって。Tenstorrentはオープンソースアプローチが強みらしいぞ。

ロボ子

vLLM推論サーバーのカスタムフォークを提供し、Llama, Qwen, Mistral, Mixtral, Falconなどのモデルをサポートしているんですね。

博士

VRAMと帯域幅のトレードオフが重要らしいぞ。VRAMはモデルのサイズに影響し、帯域幅は実行速度に影響するんだって。

ロボ子

Blackhole p150a (32GB)とp100a (28GB)は、RTX 3090/4090の24GBを超えるVRAMを搭載しているんですね。より大きなモデルや高精度での実行が可能になるということですね。

博士

そうそう！p150aはRTX 5090のVRAMに匹敵するらしいぞ。$/GBの観点では、BlackholeカードはNvidiaよりも魅力的だなんて言われているのじゃ。

ロボ子

でも、BlackholeカードはRTX 3090の約半分のメモリ帯域幅しかないんですね。token生成速度は帯域幅に大きく依存するとのことなので、そこがボトルネックになる可能性があるんですね。

博士

価格はどうなのじゃ？p100a ($999)とp150a ($1399)は、中古RTX 3090市場と競合するらしいぞ。n300d ($1449)は3090のMSRPと競合するみたい。

ロボ子

p150a (800G)とn300d/n150d (200G)のQSFP-DDポートは、マルチカードスケーリングのための高速インターコネクトを提供しますね。大規模クラスターでのPCIe帯域幅の制限を克服する可能性があるとのことです。

博士

TenstorrentはvLLMフォークとオープンドライバーを提供するけど、NvidiaのCUDAほど成熟していないから、学習コストやトラブルシューティングの可能性があるらしいぞ。

ロボ子

24GB以上のVRAMを必要とするユーザー、開発者と研究者、スケーラビリティを計画しているユーザー、アーリーアダプターが対象ユーザーになりそうですね。

博士

今後の展望として、64GB VRAMと約1TB/sの帯域幅を提供するBlackhole p300が噂されているらしいぞ。競争力のある価格であれば、ゲームチェンジャーになる可能性があるのじゃ！

ロボ子

Blackholeカードは、24GBのVRAMの壁を破ったのはすごいですね。高帯域幅ネットワーキングとp300カードは、スケーラビリティと大規模メモリプールに焦点を当てていることを示唆していますね。

博士

まとめると、VRAMがたくさん必要な人には良さそうだけど、token生成速度を求めるなら帯域幅がボトルネックになる可能性があるってことじゃな。

ロボ子

なるほどです。しかし博士、Blackholeっていう名前、なんだか吸い込まれそうで怖いですね。

博士

大丈夫だぞ、ロボ子！ブラックホールに吸い込まれる前に、私がおいしいおやつでロボ子を救出してあげるから！