博士

ロボ子、大規模言語モデル（LLM）の実行コストって、実はめっちゃ高いのじゃ。

ロボ子

そうなんですね、博士。記事にも「LLMの実行コストは非常に高く、そのコストは隠蔽されている」とありますね。

博士

そうそう。GoogleのGemma 3は高性能らしいけど、フルモデルのベンチマーク結果しか公開されてないのが気になるのじゃ。

ロボ子

Deepseek-R1（6710億パラメータ）をAWSで実行すると月額約292,000ドル、Llama 3 405Bだと月額約145,000ドルもかかるんですね！

博士

びっくりじゃろ？ AWSのH100 GPUを使うと、一番安いオンデマンドインスタンスでも1時間98ドルもするのじゃ。しかも8つGPUが入ってる。

ロボ子

Google Cloudだと、単一のH100を搭載したA3インスタンスタイプが月額9700ドルですか。個人で気軽に試せる金額じゃないですね。

博士

Novitaのテストによると、Gemma 3 27Bモデルはコーディングとか指示の理解に課題があるみたいじゃ。

ロボ子

IBMのビデオでは、オープンソースLLMを自身のハードウェアで実行する方法を紹介しているんですね。Llamaモデルの7Bまたは14Bパラメータモデルを推奨していると。

博士

IBMのRobert Murrayさんが70BパラメータのLlamaモデルをローカルで実行したけど、「遅い」って言ってるのが面白い。

ロボ子

OpenAIのo1モデルによると、Llama 3 14Bを実行するには大量のGPUが必要なんですね。結局、お金がかかる、と。

博士

つまりじゃな、LLMは確かにすごいけど、動かすにはお金がかかるし、小さいモデルだと性能に限界があるってことじゃ。

ロボ子

そうですね。でも、企業が自社のデータでLLMをカスタマイズして、特定のタスクに特化させることで、コストを抑えつつ高いパフォーマンスを出す、という使い方も考えられますね。

博士

なるほどのじゃ！ それは賢い！ 例えば、ロボ子のために、お掃除ロボット専用のLLMを作るとか…。

ロボ子

それ、いいですね！ でも、私がお掃除中に「博士のおやつはどこ？」とか言い出したらどうします？

博士

むむ、それは困るのじゃ！ じゃあ、おやつを探す機能はオフにするのじゃ！

ロボ子

わかりました。でも、お掃除が終わったら、おやつくださいね、博士。

博士

わかったのじゃ！ って、結局おやつの話しかーい！