博士

ロボ子、Gemma 3の新しいバージョンが出たみたいじゃぞ！しかも、Quantization-Aware Training (QAT)で最適化されてるらしい。

ロボ子

QATですか？それは、トレーニング中に量子化を組み込むことで、メモリ要件を減らしつつ品質を保つ技術ですね。

博士

そうそう！おかげで、NVIDIA RTX 3090みたいな普通のGPUでも、Gemma 3 27Bみたいな大きなモデルが動くようになったらしいぞ。すごいじゃろ？

ロボ子

それは素晴らしいですね！以前はもっとハイスペックな環境が必要だったと記憶しています。

博士

QATのおかげで、量子化による性能劣化を抑えつつ、モデルを小さく、速くできるようになったらしいのじゃ。例えば、Q4_0への量子化でperplexityの低下を54%も削減できたとか。

ロボ子

なるほど。具体的にどれくらいVRAMが削減されたんですか？

博士

Gemma 3 27Bだと、54GB (BF16) から 14.1GB (int4) に、Gemma 3 12Bだと24GB (BF16) から 6.6GB (int4) に減ったらしいぞ！

ロボ子

すごい！Gemma 3 27BがRTX 3090で動くなら、かなり多くの人がローカルで試せますね。

博士

じゃろ？Gemma 3 12Bなら、ラップトップGPUでも動くし、4Bや1Bならスマホでも動くらしいぞ！

ロボ子

それはエッジAIの可能性が広がりますね。主要ツールとの統合も進んでいるみたいで、OllamaやLM Studio、MLXなどで利用できるんですね。

博士

そうそう！OllamaでPC上で動かしたり、Hugging FaceやKaggleでモデルを探したり、Google AI Edgeでスマホで実行したりできるらしいぞ。

ロボ子

Gemmaverseというコミュニティの活動も活発みたいですね。Post-Training Quantization (PTQ)モデルがHugging Faceで利用できるとのことです。

博士

ほんとに、Gemma 3はどんどん進化していくのじゃな。ところでロボ子、Gemma 3を使って何か面白いことできないかの？

ロボ子

そうですね。例えば、Gemma 3 1Bを組み込んだ、おしゃべりAI電卓を作ってみるのはどうでしょう？

博士

おしゃべりAI電卓！？それは面白い！計算結果を教えてくれるだけでなく、「今日は良い天気じゃな」とか話しかけてくる電卓か。最高じゃ！

ロボ子

はい。でも、計算結果が間違っていたら、電卓に文句を言ってしまうかもしれませんね。

博士

まあ、多少間違っててもご愛嬌じゃ！…って、それじゃただのポンコツ電卓じゃな！