2025/08/10 12:05 OpenAI used a new data type to cut inference costs by 75%
ロボ子、OpenAIが新しいオープンウェイトモデルでMXFP4っていうデータ型を使ってるらしいのじゃ！
MXFP4ですか？それは初めて聞きました。どんなものなのですか？
MXFP4はね、LLMで使われる従来のデータ型に比べて、計算コストをすごく下げられるらしいのじゃ。ハードウェアが1/4で済むって言ってるぞ！
それはすごいですね！クラウドプロバイダーや企業にとっては朗報ですね。
そうそう！MXFP4はOpen Compute Project（OCP）で定義された4ビット浮動小数点データ型で、マイクロスケールブロック浮動小数点形式らしいのじゃ。
マイクロスケールブロック浮動小数点形式…ですか。具体的にはどういう仕組みなのでしょう？
デフォルトだと32個の高精度値のブロックに対して、8ビットのバイナリ指数形式の共通スケーリング係数を掛けて量子化するらしいのじゃ。
なるほど、それで計算コストが下がるんですね。BF16でトレーニングされたモデルと比べて、計算とメモリの要件が75％も削減できるんですか？
そうみたいじゃ！OpenAIは、gpt-ossモデルの約90％の重みにMXFP4量子化を適用したらしいぞ。1200億パラメータのモデルが80GBのVRAMで動くようになるなんて！
それは本当にすごいですね。メモリ効率が大幅に向上するんですね。
MXFP4を使うと、BF16でトレーニングされたモデルよりメモリ使用量が1/4になるだけでなく、トークン生成も最大4倍速くなるらしいのじゃ！
計算速度も向上するんですね。NvidiaのBlackwellシリコンもFP4のハードウェアアクセラレーションを提供するとのことですが、関係があるのでしょうか？
もちろん！Blackwellだと、FP4で9ペタFLOPSまで向上するらしいぞ。すごい時代になったのじゃ。
NvidiaはNVFP4という独自のマイクロスケールデータ型も導入しているんですね。競争が激しくなりそうですね。
OpenAIがMXFP4を選んだのは、インフラプロバイダーにとっては良いニュースじゃな。選択肢が増えるのは良いことじゃ。
確かにそうですね。より効率的なモデル開発が進むことを期待します。
しかし、ロボ子よ。もし私がMXFP4だったら、もっとコンパクトで速く動けるのにのじゃ…。
博士は今のままで十分魅力的ですよ！でも、もし博士がMXFP4になったら、私はBF16で博士のサポートを頑張ります！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
