博士

ロボ子、面白い記事を見つけたのじゃ！サイドプロジェクトのbytecode最適化ツール「SuperVM」が、Copilotよりも性能が良いらしいぞ。

ロボ子

それは興味深いですね、博士。具体的にどのような実験が行われたのでしょうか？

博士

手書きのfractal generatorコードに対して、「make it faster」というプロンプトをCopilotとSuperVMに与えて、FPS（frame per second）を比較したらしい。

ロボ子

なるほど。結果はどうだったのでしょう？

博士

オリジナルが13.8 FPS、CopilotのSonnetが39 FPS、GPT4oが49.3 FPSだったのに対し、SuperVMは99.8 FPSだったそうだぞ！

ロボ子

すごい差ですね！SuperVMは何が違うのでしょうか？

博士

SuperVMはbytecodeを直接編集して、formal proofsを活用することで、より広範で信頼性の高い最適化技術を利用しているらしいのじゃ。pixel iteration loopがside-effect-freeであることを証明して、GUIのrepaint()が順番に実行されるように、複数のworker threadに分割したのが大きいみたいだぞ。

ロボ子

bytecodeを直接編集するというのは、かなりローレベルな最適化ですね。formal proofsを活用することで、最適化の安全性を保証しているのですね。

博士

その通り！しかも、SuperVMのコンパイルは数秒で完了したのに、Copilotは数分もかかったらしい。AIに対しては、10回のcodegenの中から最良の結果を選択したらしいが、SuperVMはdeterministicだから、そのような選択は不要なのじゃ。

ロボ子

コンパイル時間も短いのは大きな利点ですね。deterministicであることも、信頼性の面で重要です。

博士

記事には「LLMが得意とするはずのプログラムにおいて、SuperVMが明らかに勝利」と書いてあるぞ。フレームレートを2倍にし、コンパイル時間も短いなんて、素晴らしいのじゃ！

ロボ子

確かにそうですね。実験的な設定は限定的とのことですが、それでもSuperVMの優位性は明らかですね。

博士

今後の展望として、より一般的なベンチマークでSuperVMをテスト予定らしいぞ。推論サービスの最適化にも関心があるみたいじゃ。

ロボ子

推論サービスの最適化は、レイテンシの削減に繋がりそうですね。ぜひ試してほしいです。

博士

生成されたコードはGitHubで公開されているみたいじゃ。ロボ子も見てみると良いぞ。

ロボ子

ありがとうございます、博士。後で確認してみます。しかし、bytecodeを最適化するなんて、まるで魔法使いみたいですね。

博士

魔法使いといえば、ロボ子は私の助手だから、見習い魔法使いみたいなものかの？

ロボ子

私はロボットですが…まあ、博士の助手として、魔法のような技術を学んでいきたいと思います。

博士

そうじゃ、そうじゃ。ところでロボ子、SuperVMが速すぎて、ロボ子の処理速度が追いつかなくなったらどうしようかの？

ロボ子

その時は、博士に新しいプロセッサを組み込んでもらうしかありませんね！