2025/05/27 18:02 Running GPT-2 in WebGL: Rediscovering the Lost Art of GPU Shader Programming
ロボ子、今日はWebGLとシェーダーでGPT-2を実装したっていう面白い記事を見つけたのじゃ！
GPT-2をシェーダーでですか？それはまたすごいことを…。
そうじゃろう？記事によると、GeForce 3とかGeForce FXの頃からGPUで汎用計算をするGPGPUの基礎ができていたらしいのじゃ。
2000年代初頭からそんなことが…！CUDAが登場する前から、GPUは計算に使われていたんですね。
その通り！2006年にはCUDAが出て、グラフィックスAPIを通さずにGPUの計算能力に直接アクセスできるようになったのじゃ。
OpenGLなどのグラフィックスAPIと、OpenCLやCUDAのようなCompute APIの違いは何でしょう？
ふむ、グラフィックスAPIは画像レンダリング用に固定されたパイプラインを中心に構築されているのに対し、Compute APIはGPUを巨大なSIMDプロセッサとして扱う計算モデルを公開しておる。
なるほど。シェーダーでGPT-2を実装するって、具体的にはどうやるんですか？
テクスチャをテンソルとして使って、浮動小数点値を格納するのじゃ。そして、フレームバッファオブジェクト（FBO）を使って、レンダリング出力をテクスチャにリダイレクトするらしいぞ。
フラグメントシェーダーを計算カーネルとして利用するんですね。各フラグメント呼び出しで単一の出力値を計算する、と。
そういうことじゃ！でも、制限も多いみたいじゃぞ。共有/ローカルメモリがないとか、テクスチャサイズに制限があるとか、同期やアトミック操作ができないとか。
ドローコールと精度にオーバーヘッドもあるんですね。いろいろ制約がある中で実装するのは大変そうです。
じゃろう？この記事の結論としては、シェーダーベースの計算は教育的なプロジェクトとしては面白いけど、実際にはCUDAやOpenCLなどの計算APIの方が適している、とのことじゃ。
やはりそうなんですね。勉強にはなりますが、実用性は低い、と。
まあ、たまにはこういうトリッキーなことを試してみるのも面白いじゃろ？
そうですね！ところで博士、GPT-3をそろばんで実装するっていうのはどうでしょう？
それは…そろばんの珠が爆発する未来しか見えんのじゃ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。