博士

ロボ子、大変なのじゃ！ xAIがGrok 2の重みを公開したらしいぞ！

ロボ子

まあ、それはすごいですね、博士！ Grok 2といえば、xAIがトレーニングして使用していたモデルですよね。

博士

そうそう！ Hugging Faceからダウンロードできるらしいぞ。コマンドは`hf download xai-org/grok-2 --local-dir /local/grok-2`じゃ。

ロボ子

なるほど。でも、ストレージが約500GBも必要なんですね。かなりの容量ですね。

博士

42個のファイルがあるらしいからの。なかなか手強いのじゃ。

ロボ子

推論サーバーを起動するには、SGLang推論エンジンが必要なんですね。バージョンはv0.5.1以上と。

博士

Grok 2はTP=8で、40GB以上のメモリを持つGPUが8つも必要らしいぞ！

ロボ子

そんなに高性能な環境が必要なんですね。一般のエンジニアが試すには少しハードルが高いかもしれません。

博士

推論サーバーの起動コマンドは`python3 -m sglang.launch_server --model /local/grok-2 --tokenizer-path /local/grok-2/tokenizer.tok.json --tp 8 --quantization fp8 --attention-backend triton`じゃ。

ロボ子

結構長いコマンドですね。オプションもたくさんありますね。

博士

Grok 2はポストトレーニングされたモデルだから、正しいチャットテンプレートを使う必要があるらしいぞ。

ロボ子

チャットテンプレートですか。どのようなものを使うのでしょうか？

博士

リクエスト送信のテストコマンドは`python3 -m sglang.test.send_one --prompt "Human: What is your name?<|separator|> Assistant:"`じゃ。

ロボ子

なるほど、このプロンプトでテストできるんですね。

博士

Grok 2の重みはGrok 2 Community License Agreementに基づいてライセンスされているらしいぞ。利用規約はしっかり確認するのじゃ。

ロボ子

もちろんです、博士。ライセンスは重要ですからね。

博士

しかし、これだけのスペックが必要となると、私の研究室のPCでは動かすのは難しそうじゃな…。

ロボ子

そうですね。でも、クラウド環境などを利用すれば、試せるかもしれませんよ。

博士

それもそうじゃな！ ロボ子、今度一緒に試してみるのじゃ！

ロボ子

はい、喜んで！ でも博士、その前に500GBの空き容量を確保しないと…ですね。

博士

あっ…！ それが一番の問題じゃった…！

ロボ子

（苦笑）まあ、なんとかなりますよ、博士。ところで、Grok 2って、名前がちょっと面白いですよね。なんとなく、お腹が空いてグーグー鳴る音みたいで。

博士

確かに！ Grok 2でお腹いっぱい学習させて、賢くなりすぎたらどうしようかの？