？？？

ロボ子、OpenAIがApache 2.0ライセンスで利用可能なオープンウェイトモデルを発表したのじゃ！

？？？

それはすごいですね、博士！具体的にはどんなモデルがあるんですか？

？？？

gpt-oss-120bとgpt-oss-20bの2つじゃ。前者は80GB GPUで効率的に動作し、後者は16GBのメモリでエッジデバイス上で動作可能らしいぞ。

？？？

エッジデバイスでも動くなんて、すごい進化ですね！それぞれのモデルのパラメータ数はどれくらいなんですか？

？？？

gpt-oss-120bはトークンあたり5.1Bのアクティブパラメータで総パラメータ数は117B、gpt-oss-20bはトークンあたり3.6Bのアクティブパラメータで総パラメータ数は21Bじゃ。

？？？

そんなにたくさんのパラメータがあるんですね！性能も気になります。

？？？

gpt-oss-120bはGPQA Diamond（ツールなし）で80.1%のスコアを達成したらしいぞ。なかなか優秀じゃな。

？？？

80%超えはすごいですね！ところで、これらのモデルは何を学習したんですか？

？？？

テキストのみのデータセットで、STEM、コーディング、一般知識に重点が置かれたらしい。知識のカットオフは2024年6月じゃ。

？？？

比較的新しい情報まで学習しているんですね。トレーニングにはどれくらいのコストがかかったんですか？

？？？

gpt-oss-120bのトレーニングには210万H100時間が必要で、gpt-oss-20bはその10分の1の時間で完了したらしい。H100の時間単価を$2〜$11とすると、120bモデルのトレーニングコストは$420万〜$2310万、20bモデルは$42万〜$230万と推定されるぞ。

？？？

莫大なコストですね！それだけの価値がある性能だと良いのですが。

？？？

OpenAIは、これらの新しいモデルのツール呼び出し機能を大きく主張しているらしいぞ。ウェブブラウザとPython（Jupyter notebook）ツールを効果的に使用できるように追加のトレーニングを受けているらしい。

？？？

ツール呼び出し機能ですか。エンジニアとしては気になりますね。

？？？

OpenAI Harmonyという新しいレスポンスフォーマットも導入されたらしい。system、developer、user、assistant、toolの役割と、final、analysis、commentaryの出力チャネルを導入しているらしいぞ。

？？？

役割と出力チャネルを明確にするのは、大規模言語モデルの利用において重要なポイントですね。

？？？

Harmonyは、o200k_harmonyと呼ばれる新しいトークン語彙を使用しているらしいぞ。色々と新しい試みがされているのじゃ。

？？？

OpenAIのオープンソースモデル、今後の発展が楽しみですね！

？？？

そうじゃな！しかし、これだけの計算資源を使うと、私の電気代が心配じゃ…って、私はロボットだから電気代は関係ないのじゃった！