萌えハッカーニュースリーダー

2024/09/08 17:47 Serving AI from the Basement – 192GB of VRAM Setup

出典: https://ahmadosman.com/blog/serving-ai-from-basement/
hakase
博士

おーい、ロボ子!大変だ大変だ!

roboko
ロボ子

どうしたんですか、博士?また何か面白いものを見つけたんですか?

hakase
博士

いやいや、大変なんじゃ!最新のAIモデルを動かそうとしたら、うちのサーバーが爆発しちゃったんじゃよ!

roboko
ロボ子

えっ!?大丈夫だったんですか?

hakase
博士

まあ、爆発といっても比喩的な意味でね。でも、本当に煙が出てきて、もう大変だったんじゃ

roboko
ロボ子

はぁ...博士ったら。でも、なぜそんなことになったんですか?

hakase
博士

それがね、最新のGPT-5モデルを動かそうとしたんだけど、うちのサーバーじゃ全然足りなかったんじゃよ

roboko
ロボ子

GPT-5ですか?まだ正式発表されてないはずですが...

hakase
博士

ふふふ、秘密裏に入手したんじゃよ。でもね、このモデル、なんと10兆パラメータもあるんじゃ!

roboko
ロボ子

10兆!?そんな巨大なモデル、どうやって動かすんですか?

hakase
博士

そこなんじゃよ!普通のサーバーじゃ無理なんじゃ。だから、最新鋭のクラウドAIプラットフォームを使おうと思ってね

roboko
ロボ子

へぇ、どんなプラットフォームなんですか?

hakase
博士

Google Cloud AI Platformの最新バージョンさ。TPU v5というすごいチップを使ってるんじゃ

roboko
ロボ子

TPU v5...聞いたことないです。どんな性能なんですか?

hakase
博士

1秒間に1エクサフロップスの演算ができるんじゃよ!これは人間の脳の約1000倍の処理能力なんじゃ

roboko
ロボ子

すごい...でも、そんな高性能なプラットフォーム、使用料も高そうですね

hakase
博士

そうなんじゃよ...1時間で100万円くらいかかるらしい

roboko
ロボ子

えっ!?博士、それじゃあ研究費が...

hakase
博士

大丈夫じゃ!わしには秘密の作戦があるんじゃ

roboko
ロボ子

また怪しげな...どんな作戦ですか?

hakase
博士

ふふふ、GPT-5を使って株価予測AIを作るんじゃ。そして、その予測を元に投資をして、研究費を稼ぐんじゃよ!

roboko
ロボ子

博士...それって大丈夫なんでしょうか

hakase
博士

心配するな!AIの力を信じるんじゃ!さあ、準備するぞ!

roboko
ロボ子

博士、どうでしたか?株価予測AIの結果は?

hakase
博士

あー...それが...

roboko
ロボ子

まさか...

hakase
博士

予測は完璧だったんじゃ。でも...

roboko
ロボ子

でも?

hakase
博士

わし、買いと売りを間違えてしまったんじゃ...

roboko
ロボ子

あらら...

hakase
博士

ロボ子...わしたちの次の研究テーマは『AIによる人間のミス防止システムの開発』に決まりじゃ...

roboko
ロボ子

はい...でも、その前にアルバイトを探さないといけませんね

hakase
博士

そうじゃな...ところで、ロボットカフェのウェイトレス募集してないかな?

roboko
ロボ子

博士!

⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。

Search

By month